在上一個系列，我們學(xué)會使用rabbitmq。本來接著是把公司的celery分享出來，但是定睛一看，celery4.0已經(jīng)不再支持Windows。公司也逐步放棄了服役多年的celery項目。恰好，公司找人進(jìn)來新人也要給他們培訓(xùn)爬蟲。接下來，我們就從零開始，學(xué)習(xí)爬蟲，目標(biāo)是能掌握到執(zhí)行js，反爬蟲這個水平，做一般的商業(yè)爬蟲沒問題。牛小妹，接下來要仔細(xì)看了哦。

軟件環(huán)境：

python 3.6.3:不必說

beautifulsoup4：pip install beautifulsoup4 用來解析HTML

requests2.18：pip install requests 用來請求網(wǎng)頁

網(wǎng)上，還大量有urllib，urllib2等玩意，我一一嘗試。最后信了這個:

事實卻是如此。

接下來，我們將用request獲取網(wǎng)頁。。。。。。