歡迎關注微信號：student_Shang
小編是985院校小碩士一枚，歡迎關注，持續(xù)更新中~
哈嘍，大家好~
在本次推送中，以豆瓣網站電影數(shù)據作為采集目標，重點采集并保存豆瓣電影 TOP250 中的電影名、導演、一句話總結、電影海報鏈接、豆瓣單頁鏈接等信息，在本地根目錄下以 .txt 的文件形式進行存儲。
1 準備工作
在本次爬蟲開始之前，請確保已經安裝好了第三方 requests 庫、BeautifulSoup 庫等。如果沒有安裝，請使用cmd打開命令行界面，并逐行鍵入以下代碼：
pip install requests
pip install bs4
2 抓取分析
本次抓取的信息內容較上一次簡單。只需要利用 requests 庫向指定網站發(fā)送請求，獲取服務器傳來的響應，隨后利用BeautifulSoup庫完成對網頁代碼的解析，同時為了進一步防止觸發(fā)反爬蟲機制。具體分析如下：
首先，我們本次爬取的網站是
右鍵點擊 檢查 按鈕，或者直接按下 F12 進入開發(fā)者界面，點開 Network 一欄，并按下 F5 刷新按鈕，必要時請按下 CTRL + F5 組合鍵完成頁面的刷新。隨后我們點擊刷新后出現(xiàn)的第一個子欄目。如下圖所示：
這里我們可以看到，網站請求的 Request URL ，再往下翻觀察 Request Headers信息，為了避免觸發(fā)反爬蟲機制，我們要盡量把爬蟲程序做的更像是人在瀏覽網頁。
接下來便是對網頁的提取與保存，我們開始今天的爬蟲工作。
3 爬取信息與保存
在安裝完畢我們在一開始介紹的第三方庫后，這里我們需要首先導入這些文件才能夠進行后續(xù)的操作。
import requests
from bs4 import BeautifulSoup
3.1 網頁請求頭的設置
為了使爬蟲程序模擬的更像人在操作，因此我們添加了請求過程中一些比較重要的請求頭信息，并將其整理成一個請求函數(shù)，具體如下：
def get_page(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 '
'(KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36',
'Host':'movie.douban.com'
}
r = requests.get(url,headers = headers)
return r
接下來我們便開始網頁的爬取工作。
3.2 豆瓣電影TOP250數(shù)據的爬取與保存
首先，我們需要對單個網頁的信息進行爬取，通過對響應代碼的分析，我們利用 BeautifulSoup 庫完成對代碼的解析。同時將其定義為 get_pictures_url() 函數(shù)。具體如下：
def get_pictures_url(url,number):
r = get_page(url)
Number = 0 + number * 25
if r.status_code == 200:
soup = BeautifulSoup(r.content)
pictures_url = soup.find_all('div',class_="item")
for pictures in pictures_url:
Number += 1
try:
with open('douban_top250.txt','a') as f:
print('正在存儲top第{}'.format(Number))
f.write('TOP排名：' + str(Number) + '\n')
f.write('源網頁：' + pictures.find('a',class_="")['href'] + '\n')
f.write('海報地址：' + pictures.find('img', class_="")['src'] + '\n')
f.write('片名：' + pictures.find('img', class_="")['alt'] + '\n')
f.write(pictures.find('div', class_="bd").p.get_text()[29:40] + '\n')
f.write('一句話介紹：' + str(pictures.find('span', class_='inq').string) + '\n\n\n')
f.flush()
print("%s已存儲" % pictures.find('img', class_="")['alt'])
except:
print('Fail download')
單個網頁的內容收集完畢后，我們需要獲取如何跳入下一頁。這里我們發(fā)現(xiàn)，通過更改不同頁數(shù)的網頁 URL 之間的 pageNum 參數(shù)，可以實現(xiàn)網頁之間的切換。
https://movie.douban.com/top250?start=25&filter=
https://movie.douban.com/top250?start=50&filter=
3.3 啟動程序
最后，鍵入以下代碼便能夠實現(xiàn)整個程序的運行：
if __name__ == "__main__":
for i in range(11):
get_pictures_url("https://movie.douban.com/top250?start={}&filter=".format(i*25),i)
print('-------------------------------------')
print('數(shù)據保存完畢')
4 總結與展望
本次爬蟲程序在編寫過程中，遇到了無法對字符串進行保存的尷尬情況，主要原因在于寫入文件的首個字符不應當為轉義字符。在爬蟲程序完成后，會在文件保存的根目錄下出現(xiàn) douban_top250.txt 的文件。此外，本次爬蟲只限于對數(shù)據的爬取與保存工作，數(shù)據的分析工作留待后續(xù)進行再處理。
微信公眾號：Python一號通
關注可了解更多的爬蟲教程及機器學習內容。
問題或建議，請公眾號留言
