nsq源碼解讀之nsq_to_file

nsq_to_file創(chuàng)建消費(fèi)者,讀取nsq消息并寫入文件中,支持topic的模糊匹配和實(shí)時(shí)更新,以及消息落文件的定時(shí)rotate等設(shè)置。研究nsq_to_file的代碼有助于理解nsq消息隊(duì)列的工作流程。
創(chuàng)建消費(fèi)者的代碼為:

func newConsumerFileLogger(topic string, cfg *nsq.Config) (*ConsumerFileLogger, error) {
    f, err := NewFileLogger(*gzipEnabled, *gzipLevel, *filenameFormat, topic)
    if err != nil {
        return nil, err
    }

    consumer, err := nsq.NewConsumer(topic, *channel, cfg)
    if err != nil {
        return nil, err
    }

    consumer.AddHandler(f)

    err = consumer.ConnectToNSQDs(nsqdTCPAddrs)
    if err != nil {
        log.Fatal(err)
    }

    err = consumer.ConnectToNSQLookupds(lookupdHTTPAddrs)
    if err != nil {
        log.Fatal(err)
    }

    return &ConsumerFileLogger{
        C: consumer,
        F: f,
    }, nil
}

其中調(diào)用了go-nsq庫(kù)。在go-nsq中通過(guò)consumer.ConnectToNSQLookupds,調(diào)用nsqlookupd的/lookup接口查詢當(dāng)前的所有生產(chǎn)者。然后連接每一個(gè)nsqd,并訂閱相應(yīng)的channel(不指定就默認(rèn)為"nsq_to_file",如果nsqd
不存在該channel會(huì)自動(dòng)創(chuàng)建)。
當(dāng)與nsqd的TCP連接收到消息時(shí),go-nsq中會(huì)回調(diào)消費(fèi)者的HandleMessage函數(shù)。

func (f *FileLogger) HandleMessage(m *nsq.Message) error {
    m.DisableAutoResponse()
    f.logChan <- m
    return nil
}

func (f *FileLogger) router(r *nsq.Consumer) {
    pos := 0
    output := make([]*nsq.Message, *maxInFlight)
    sync := false
    ticker := time.NewTicker(time.Duration(30) * time.Second)
    closing := false
    closeFile := false
    exit := false

    for {
        select {
        case <-r.StopChan:
            sync = true
            closeFile = true
            exit = true
        case <-f.termChan:
            ticker.Stop()
            r.Stop()
            sync = true
            closing = true
        case <-f.hupChan:
            sync = true
            closeFile = true
        case <-ticker.C:
            if f.needsFileRotate() {
                if *skipEmptyFiles {
                    closeFile = true
                } else {
                    f.updateFile()
                }
            }
            sync = true
        case m := <-f.logChan:
            if f.needsFileRotate() {
                f.updateFile()
                sync = true
            }
            _, err := f.writer.Write(m.Body)
            if err != nil {
                log.Fatalf("ERROR: writing message to disk - %s", err)
            }
            _, err = f.writer.Write([]byte("\n"))
            if err != nil {
                log.Fatalf("ERROR: writing newline to disk - %s", err)
            }
            output[pos] = m
            pos++
            if pos == cap(output) {
                sync = true
            }
        }

        if closing || sync || r.IsStarved() {
            if pos > 0 {
                log.Printf("syncing %d records to disk", pos)
                err := f.Sync()
                if err != nil {
                    log.Fatalf("ERROR: failed syncing messages - %s", err)
                }
                for pos > 0 {
                    pos--
                    m := output[pos]
                    m.Finish()
                    output[pos] = nil
                }
            }
            sync = false
        }

        if closeFile {
            f.Close()
            closeFile = false
        }
        if exit {
            close(f.ExitChan)
            break
        }
    }
}
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見(jiàn)模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn),斷路器,智...
    卡卡羅2017閱讀 136,586評(píng)論 19 139
  • 1. 介紹 最近在研究一些消息中間件,常用的MQ如RabbitMQ,ActiveMQ,Kafka等。NSQ是一個(gè)基...
    aoho閱讀 9,091評(píng)論 1 16
  • 你們知道嗎?有一群人,她們每天清晨6點(diǎn)起床后準(zhǔn)點(diǎn)迎接到校的孩子。 你們知道嗎?她們?yōu)榱俗屝碌叫5暮⒆羽B(yǎng)成好習(xí)慣,數(shù)...
    米粒2020閱讀 368評(píng)論 0 0
  • 不管你現(xiàn)在是不是千里馬,或許在若干年之后,當(dāng)你有了自己的公司,或是成為某公司的高管后,你的角色都會(huì)轉(zhuǎn)變,你有可能會(huì)...
    夏夏夏子桑閱讀 819評(píng)論 0 0
  • 被身邊的朋友常問(wèn)及的一個(gè)飲酒問(wèn)題是“怎樣鑒別變質(zhì)的葡萄酒”,解釋的次數(shù)多了,就抽空歸納總結(jié)了一下,寫出來(lái)與讀者分享...
    紅酒說(shuō)WineSay閱讀 320評(píng)論 0 0

友情鏈接更多精彩內(nèi)容