一年前499買了這套教程，當(dāng)時(shí)完全按照教程內(nèi)的代碼實(shí)現(xiàn)，是不能成功實(shí)現(xiàn)爬取的，對(duì)于初學(xué)的我來說，有困難又不能解決，效率太低就放棄了。最近重新這套教程，并且實(shí)現(xiàn)了其中三個(gè)實(shí)戰(zhàn)：

14.Requests+正則表達(dá)式爬取貓眼電影，https://edu.hellobi.com/course/157/play/lesson/2575

15分析Ajax請(qǐng)求并抓取今日頭條街拍美圖，https://edu.hellobi.com/course/157/play/lesson/2578

16使用Selenium模擬瀏覽器抓取淘寶商品美食信息，https://edu.hellobi.com/course/157/play/lesson/2579

正好這三部是免費(fèi)的。完全按照視頻內(nèi)編碼是不能實(shí)現(xiàn)的，有些是因?yàn)橐曨l不夠詳細(xì)，有些是因?yàn)槟繕?biāo)站點(diǎn)代碼做了改動(dòng)，我做一個(gè)記錄，也算是一個(gè)分享。

14.Requests+正則表達(dá)式爬取貓眼電影

問題點(diǎn)：需要在請(qǐng)求時(shí)帶上請(qǐng)求頭，模擬瀏覽器的行為，否則訪問失敗。

對(duì)于初學(xué)者來說可能很懵，甚至很難找到解決方法，其實(shí)是很基礎(chǔ)的問題，即如果是用瀏覽器訪問網(wǎng)站，網(wǎng)站是知道訪問者的瀏覽器信息的，有瀏覽器信息代表著該訪問是一個(gè)“人”通過瀏覽器在正常訪問，而不是程序去爬取網(wǎng)頁，這也是一種基礎(chǔ)的“反爬”策略。

應(yīng)對(duì)辦法:

在下圖紅框前面增加以下代碼：

header = {

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36'

}

并將紅框部份改為：response = request.get(url, headers=header)

（待續(xù)）