發(fā)簡(jiǎn)信
IP屬地：廣東
-
scrapy_redis中以set存入url和附帶內(nèi)容-寫(xiě)給自己看爬蟲(chóng)系列7
前言 需求：初始化url除了url外還有其他字段信息需要附帶上，以便item輸出時(shí)繼承這些信息思路：改寫(xiě)scrapy_redis中的next_r...
-
redis讀取mongo數(shù)據(jù)庫(kù)的數(shù)據(jù) -寫(xiě)給自己看爬蟲(chóng)系列6
前言 需求：要向redis存入mongodb中的數(shù)據(jù)思路：利用redis和pymongo模塊，讀取mongo的數(shù)據(jù)后用lpush寫(xiě)入redis中...
-
scrapy怎么提高性能？-寫(xiě)給自己看爬蟲(chóng)系列5
前言 需求：scrapy爬取網(wǎng)頁(yè)速度十分緩慢，在目標(biāo)網(wǎng)站良好的情況下三天才跑了80w條數(shù)據(jù)，參考其他爬蟲(chóng)的速度，一天抓取1000w條數(shù)據(jù)是沒(méi)有問(wèn)...
-
scrapy是廣度優(yōu)先還是深度優(yōu)先？-寫(xiě)給自己看爬蟲(chóng)系列4
前言 問(wèn)題：有朋友問(wèn)起這究竟scrapy是廣度優(yōu)先還是深度優(yōu)先？回答：深度優(yōu)先是指網(wǎng)絡(luò)爬蟲(chóng)會(huì)從起始頁(yè)開(kāi)始，一個(gè)鏈接一個(gè)鏈接跟蹤下去，處理完這條線...
-
scrapy保存請(qǐng)求失敗的url-寫(xiě)給自己看爬蟲(chóng)系列3
前言 需求：將請(qǐng)求不是200的url抓下來(lái)保存到本地記錄方法：在scrapy的middlewares中創(chuàng)建一個(gè)中間件，對(duì)response.sta...
-
scrapy設(shè)置header部分隨機(jī)-寫(xiě)給自己看爬蟲(chóng)系列2
前言 需求：用scrapy設(shè)置request的請(qǐng)求頭ua是隨機(jī)的，header中其他參數(shù)是固定的。方法：由于scrapy局部設(shè)置優(yōu)先于全局設(shè)置。...
-
scrapy抓取百度圖片-寫(xiě)給自己看爬蟲(chóng)系列1
前言 需求：用scrapy抓取圖片思路：scrapy抓取圖片的邏輯是，用爬蟲(chóng)抓取圖片url輸出到pipeline中，然后由pipeline實(shí)施下...
-
阿里云部署django網(wǎng)站教程（Ngnix +Uwsgi + virtualenv）下篇前言 最近在用django部署網(wǎng)站www.aihunter.cc，經(jīng)歷各種坑后覺(jué)得有必要總結(jié)一下流程以備日后遺忘。在下閱讀眾多教程后覺(jué)得網(wǎng)上還是...
-
阿里云部署django網(wǎng)站教程（Ngnix +Uwsgi + virtualenv）上篇前言 最近在用django部署網(wǎng)站www.aihunter.cc，經(jīng)歷各種坑后覺(jué)得有必要總結(jié)一下流程以備日后遺忘。在下閱讀眾多教程后覺(jué)得網(wǎng)上還是...
個(gè)人介紹
一只坐標(biāo)在廣州關(guān)注Artificial Intelligence和愛(ài)吃甜品的運(yùn)營(yíng)
個(gè)人網(wǎng)站http://www.aihunter.cc/
個(gè)人網(wǎng)站http://www.aihunter.cc/