python|網(wǎng)絡(luò)爬蟲
概述
這是一個簡單的python爬蟲程序，僅用作技術(shù)學(xué)習(xí)與交流，主要是通過一個簡單的實際案例來對網(wǎng)絡(luò)爬蟲有個基礎(chǔ)的認識。
什么是網(wǎng)絡(luò)爬蟲
簡單的講，網(wǎng)絡(luò)爬蟲就是模擬人訪問web站點的行為來獲取有價值的數(shù)據(jù)。專業(yè)的解釋:百度百科
分析爬蟲需求
確定目標
爬取豆瓣熱度在Top100以內(nèi)的電影的一些信息，包括電影的名稱、豆瓣評分、導(dǎo)演、編劇、主演、類型、制片國家／地區(qū)、語言、上映日期、片長、IMDb鏈接等信息。
分析目標
- 借助工具分析目標網(wǎng)頁
首先，我們打開豆瓣電影·熱門電影，會發(fā)現(xiàn)頁面總共20部電影，但當查看頁面源代碼當時候，在源代碼中根本找不到這些電影當信息。這是為什么呢？原來豆瓣在這里是通過ajax技術(shù)獲取電影信息，再動態(tài)的將數(shù)據(jù)加載到頁面中的。這就需要借助Chrome的開發(fā)者工具，先找到獲取電影信息的API。
查找電影信息API
然后對電影詳情頁進行分析
詳情頁分析
思路分析
思路
具體實現(xiàn)
開發(fā)環(huán)境
python3.6
pycharm
主要依賴庫
urllib -- 基礎(chǔ)性的網(wǎng)絡(luò)相關(guān)操作
lxml -- 通過xpath語法解析HTML頁面
json -- 對通過API獲取的JSON數(shù)據(jù)進行操作
re -- 正則操作
代碼實現(xiàn)
from urllib import request
from lxml import etree
import json
import re
import ssl
# 全局取消證書驗證
ssl._create_default_https_context = ssl._create_unverified_context
def get_headers():
"""
返回請求頭信息
:return:
"""
headers = {
'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/65.0.3325.181 Safari/537.36"
}
return headers
def get_url_content(url):
"""
獲取指定url的請求內(nèi)容
:param url:
:return:
"""
content = ''
headers = get_headers()
res = request.Request(url, headers=headers)
try:
resp = request.urlopen(res, timeout=10)
content = resp.read().decode('utf-8')
except Exception as e:
print('exception: %s' % e)
return content
def parse_content(content):
"""
解析網(wǎng)頁
:param content:
:return:
"""
movie = {}
html = etree.HTML(content)
try:
info = html.xpath("http://div[@id='info']")[0]
movie['director'] = info.xpath("./span[1]/span[2]/a/text()")[0]
movie['screenwriter'] = info.xpath("./span[2]/span[2]/a/text()")[0]
movie['actors'] = '/'.join(info.xpath("./span[3]/span[2]/a/text()"))
movie['type'] = '/'.join(info.xpath("./span[@property='v:genre']/"
"text()"))
movie['initialReleaseDate'] = '/'.\
join(info.xpath(".//span[@property='v:initialReleaseDate']/text()"))
movie['runtime'] = \
info.xpath(".//span[@property='v:runtime']/text()")[0]
def str_strip(s):
return s.strip()
def re_parse(key, regex):
ret = re.search(regex, content)
movie[key] = str_strip(ret[1]) if ret else ''
re_parse('region', r'<span class="pl">制片國家/地區(qū):</span>(.*?)<br/>')
re_parse('language', r'<span class="pl">語言:</span>(.*?)<br/>')
re_parse('imdb', r'<span class="pl">IMDb鏈接:</span> <a href="(.*?)" '
r'target="_blank" rel="nofollow">')
except Exception as e:
print('解析異常: %s' % e)
return movie
def spider():
"""
爬取豆瓣前100部熱門電影
:return:
"""
recommend_moives = []
movie_api = 'https://movie.douban.com/j/search_subjects?' \
'type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend' \
'&page_limit=100&page_start=0'
content = get_url_content(movie_api)
json_dict = json.loads(content)
subjects = json_dict['subjects']
for subject in subjects:
content = get_url_content(subject['url'])
movie = parse_content(content)
movie['title'] = subject['title']
movie['rate'] = subject['rate']
recommend_moives.append(movie)
print(len(recommend_moives))
print(recommend_moives)
if __name__ == '__main__':
spider()
效果
抓取結(jié)果
總結(jié)
本文較詳細的闡述了一個爬蟲從需求->分析->實現(xiàn)的過程，并給出了具體的代碼實現(xiàn)。通過對本文的學(xué)習(xí)，我們可以了解到網(wǎng)絡(luò)爬蟲的一些基本的知識，以及python的一些基本庫的使用方法。接下來我會使用一些高級些的網(wǎng)絡(luò)操作相關(guān)的庫以及對抓取到的數(shù)據(jù)做個存儲的方式，來更深層次的理解python網(wǎng)絡(luò)爬蟲。
特別聲明
1. 本文涉及到的豆瓣網(wǎng)是國內(nèi)知名網(wǎng)站，若有侵權(quán)之處，請告知。
2. 本文屬作者原創(chuàng)，轉(zhuǎn)載請標明出處；未經(jīng)允許，不得用于商業(yè)用途。
3. 本文只是用作網(wǎng)絡(luò)爬蟲技術(shù)學(xué)習(xí)交流，讀者涉及到的任何侵權(quán)問題，與本文作者無關(guān)。
