上一篇文章，我有了自己的第一條爬蟲。就像打怪升級(jí)一樣，爬蟲也會(huì)慢慢地成長，學(xué)到新本領(lǐng)。今天，我的爬蟲就學(xué)會(huì)了爬取“美圖”。這個(gè)功能也很有用，可以爬取網(wǎng)上的壁紙，美女圖片，正太，帥哥偶像，都是妥妥的。好啦，開始我們的“爬圖”之旅吧。
動(dòng)手寫代碼之前，我覺得還是要先理一下思路，而不是一開始就噼里啪啦寫代碼，這是一大禁忌。
目標(biāo)：爬取網(wǎng)上的圖片
- 首先，我們要知道去哪里找到圖片，也就是URL是什么。
具體來說，今天我就想爬取一下國家地理中文網(wǎng)上的圖片。所以我的爬蟲開始的起點(diǎn)是“www.nationalgeographic.com.cn”。可以使用requests庫打開網(wǎng)頁,并下載網(wǎng)頁內(nèi)容：
import requests
URL = "http://www.nationalgeographic.com.cn/index.php?m=content&c=index&a=lists&catid=596"
html = requests.get(URL).text
- 解析網(wǎng)頁內(nèi)容
這里我們又要利用這個(gè)神奇的工具BeautifulSoup了。它可以把下載下來的網(wǎng)頁做成一碗美味的"湯汁"：
soup = BeautifulSoup(html,'lxml')
可是雖然我們把網(wǎng)頁做成湯汁了，但是我們要找的圖片在這碗湯的哪里呢？為了快速找到我們的照片，我們可以打開瀏覽器，查看網(wǎng)頁的源碼，就像這樣：
屏幕快照
屏幕快照.png
屏幕快照.png
img_ul = soup.find_all('dl',{'class':'show-list-dl aside-box'})
for ul in img_ul:
imgs = ul.find_all('img',{'src':re.compile("^http://")})
for img in imgs:
url = img['src']
- 下載圖片
找到url以后，就可以利用request的get方法下載圖片了，我們這里采用了分塊下載的方法，也就是說，下載一部分內(nèi)容，保存一部分內(nèi)容：
r = requests.get(url, stream=True)
image_name = url.split('/')[-1]
with open('./img/%s' % image_name, 'wb') as f:
for chunk in r.iter_content(chunk_size=128):
f.write(chunk)
print('Saved %s' % image_name)
然后運(yùn)行就可以得到圖片了：
屏幕快照 .png
屏幕快照 .png
