網(wǎng)絡(luò)爬蟲(chóng)(十)

今天學(xué)習(xí)線程,以后寫(xiě)爬蟲(chóng)代碼時(shí)時(shí)會(huì)用到,因?yàn)橛镁€程可以解決程序順序運(yùn)行產(chǎn)生的阻塞,減少運(yùn)行時(shí)間,凡事有兩面性,如果開(kāi)太多的線程也會(huì)造成資源消耗過(guò)多造成系統(tǒng)崩潰。
開(kāi)線程一般用線程池的方式,這樣可減少線程創(chuàng)建和銷(xiāo)毀的頻率。下面上代碼

from multiprocessing.dummy import Pool

def get_page(url):
    print(url)

pool=Pool(4)

arg_list=['url1','url2','url3','url4']
pool.map(get_page,arg_list)

由于python是解釋性語(yǔ)言,函數(shù)在一定在調(diào)用之前定義。


晚自習(xí)
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容