主函數(shù)中是將前邊寫的所有函數(shù)匯總,通過多線程,將爬蟲穩(wěn)步有序的進(jìn)行。
頭文件中的那些是之前寫好的做引用
用到了多線程技術(shù),在python中,Pool函數(shù)是個(gè)好的多線程工具
__author__ = 'Lee'
from multiprocessing import Pool
from beijing_proper import channel_list
from items_combination import get_pages_url
def get_all_links_from(channel): #獲取地址池中的數(shù)據(jù)并獲得后執(zhí)行 get_pages_url()函數(shù)
for i in range(1,50):
get_pages_url(channel,i)
if __name__ == '__main__': #固定格式,可以先不用管
pool = Pool()
pool.map(get_all_links_from,channel_list.split()) #用到了進(jìn)程相關(guān)知識(shí) map函數(shù)的作用就是 將后邊的一次一次循環(huán)的和前邊做“與”的操作