Scrapy框架學(xué)習(xí) - 使用內(nèi)置的ImagesPipeline下載圖片

需求分析

需求：爬取斗魚(yú)主播圖片，并下載到本地

思路：

使用Fiddler抓包工具，抓取斗魚(yú)手機(jī)APP中的接口

使用Scrapy框架的ImagesPipeline實(shí)現(xiàn)圖片下載

ImagesPipeline實(shí)現(xiàn)圖片下載的使用方法:

在items中的XxxItem中定義?image_urls?和?images字段

在spider中將提取出來(lái)的圖片鏈接保存到Item的?image_urls?字段中（注意：該字段接收一個(gè)可迭代對(duì)象，否則報(bào)錯(cuò)）

在settings文件中進(jìn)行配置，具體配置見(jiàn)?settings.py?文件