keywords：python scrapy crawl mysql git 建材 爬蟲
之前爬取過指定建材網(wǎng)站的指定內(nèi)容，調(diào)研分析采用scrapy框架來做:框架簡單，功能強大。 scrapy中文官網(wǎng) http://scrapy-chs.readthedocs.io/zh_CN/latest/
寫的scrapy代碼爬取大概1億條數(shù)據(jù)，特別是對于淘寶或者大眾點評這類的數(shù)據(jù)量很大，前前后后大概花了一個月的業(yè)余時間（羽毛球沒敢丟下）。爬取建材網(wǎng)站代碼github地址https://github.com/junfeng-feng/Spider.git
首先要分析需求，要那些數(shù)據(jù)，get/post分頁分類獲取，其次防止被ban，最后數(shù)據(jù)交付。
分析網(wǎng)站
分析網(wǎng)站，最常用的就是使用firefox或者chrome，F(xiàn)12查看網(wǎng)頁源代碼，然后F5刷新頁面，查看有哪些網(wǎng)絡(luò)(network)請求，請求的類型及內(nèi)容。
最多使用的就是翻頁數(shù)據(jù)的請求，一部分是通過get請求的url帶上類似PageNo的參數(shù)，另外一個部分就是通過post json，json的數(shù)據(jù)含有PageNo類似的字段。
抓取網(wǎng)站
scrapy可深度優(yōu)先，或者廣度優(yōu)先，且自帶去重功能，自帶過濾域名等等強大的功能。
由于我們想要抓取的數(shù)據(jù)都是指定的，比如http://ask.jia.com/裝修問答網(wǎng)站中，問答的題目，問題描述，問題圖片；回答的圖片，最佳回答，回答的時間等等需求方指定的要素。所以我們爬取過程中，不能采用通用爬蟲。
實際的爬取做法，簡單粗暴：分析對應(yīng)問答的頁面，預(yù)估數(shù)據(jù)數(shù)量，指定所有的url。比如http://ask.jia.com/a-1006161.html其中，1006161是問答的id，我們的做法就是遍歷所有的id，具體id范圍1-200000000，來抓取問答詳情頁面。代碼樣例：
start_urls = [] #scrapy的起始url
for id in xrange(1, 2000000):#todo
? ? start_urls.append("http://ask.jia.com/a-%s.html" % id)
分析具體的頁面
以http://ask.jia.com/a-1006161.html為例，獲取問題的標題。
使用item["question_title"]="".join(select.css(".timu_text").xpath(".//h1/text()").extract()).strip()，其中item是scrapy中簡單的容器，定義pipeline中的數(shù)據(jù)項。解析html使用Selector，解析html有很多種比如lxml或者BeautifulSoap等，但是scrapy使用自己的一條機制Selector簡單高效。詳細的語法可以參考scrapy文檔。
最方便的工具是scrapy shell，可以在終端打開scrapy shell，然后在命令行，一個個字段來調(diào)試分析。不用每次都啟動scrapy crawl來跑完程序驗證抓取的字段是否正確。在shell中一個個調(diào)試select.css去的是否正確。(分析具體頁面需要注意：1.頁面可能存在特殊性，所以需要找多個頁面先對比 2.需要處理沒有字段的異常情況，對于空字段置為空即可)
多級請求
抓取網(wǎng)站具體內(nèi)容，會遇到一個問題：一條完整的數(shù)據(jù)，需要多個網(wǎng)絡(luò)請求get/post按照順序一個個來收集。
這時scrapy中的request=Request(brandUrl,callback=self.brandJsonCallBack,priority=1234567)再yieldrequest，在callback中收集數(shù)據(jù)持久化數(shù)據(jù)，是再合適不過。樣例請參考github中的tmall代碼。
存儲圖片
scrapy存儲圖片比較簡單，在setting.py配置 pipeline添加'scrapy.pipelines.images.ImagesPipeline': 1，同時配置IMAGES_STORE=r'./img'存儲圖片位置,然后在spider解析頁面拿到要下載圖片的url添加到item["image_urls"]，scrapy就下載圖片，同時保存圖片的id在item中，其它請參考scapy文檔。
持久化數(shù)據(jù)
使用twisted和MysqlDb，在pipeline.py中將item插入數(shù)據(jù)庫。其中數(shù)據(jù)庫鏈接相關(guān)信息配置在settings.py
防止被ban
最有效的方式是設(shè)置下載延遲DOWNLOAD_DELAY=0.1，同時禁用cookie。
其它比如設(shè)置user-agent，比如使用TOR，或者使用IP池，都不怎么好使。想要防止被禁的其它方法請自行g(shù)oogle。
數(shù)據(jù)清洗
抓取到數(shù)據(jù)后需要做一些處理，因為我們抓取的都是特定的內(nèi)容，基本沒有特別的處理。
Python基礎(chǔ)安裝使用
推薦使用Python 27，不推薦Python3
python 非root安裝：./configure [--prefix=newpath](自己指定安裝路徑) && make && make install
setuptools 安裝
pip install：pip是Python安裝第三方包最方便的工具，會自動下載依賴
pip 國內(nèi)鏡像：pip install -ihttps://pypi.douban.com/simple/
pip 使用代理: pip --proxy=http://127.0.0.1:2048
pip 安裝包到指定目錄: pip install --install-option="--prefix=$PREFIX_PATH" package_name
python 字符編碼處理 print file file.write請參考http://www.itdecent.cn/p/53bb448fe85b
