https://medium.com/@morefree7/design-a-distributed-web-crawler-f67a8ebb8336

僅僅是要減小nodes之間的traffic，實(shí)際很難減少呀，但是做到能減少一點(diǎn)是一點(diǎn)。
還是需要master的角色來(lái)做初始化和協(xié)調(diào)。
但是每個(gè)node把url分發(fā)到對(duì)應(yīng)的node去處理，不過(guò)把這個(gè)信息給存在本地就好，就不用每次去找master來(lái)找，這個(gè)是減少一點(diǎn)call。

我覺(jué)得其實(shí)還有個(gè)思路。
弄幾個(gè)中心節(jié)點(diǎn)記錄每個(gè)url是否被爬過(guò)。然后一個(gè)節(jié)點(diǎn)拿到url，使勁爬，當(dāng)然每次爬之前要去中心查是否被爬了，或者說(shuō)嘗試去中心檢點(diǎn)標(biāo)記自己要爬這個(gè)，但是標(biāo)記失敗就說(shuō)明被爬過(guò)了，不用爬了。這樣的話(huà)，只需要一個(gè)call。
如果當(dāng)前節(jié)點(diǎn)的queue太大了。說(shuō)明自己搞不定，那就去master要資源，看看哪個(gè)節(jié)點(diǎn)空閑。那這個(gè)節(jié)點(diǎn)可以去把部分load轉(zhuǎn)移到另外的節(jié)點(diǎn)上去。
這樣節(jié)點(diǎn)之間的通信只有url信息，網(wǎng)絡(luò)流量不增不減吧。好處是，每個(gè)節(jié)點(diǎn)不用頻繁和各種連接都建立連接。