如果你仔細觀察，就不難發(fā)現(xiàn)，懂爬蟲、學習爬蟲的人越來越多，一方面，互聯(lián)網可以獲取的數(shù)據(jù)越來越多，另一方面，像 Python這樣的編程語言提供越來越多的優(yōu)秀工具，讓爬蟲變得簡單、容易上手。

對于小白來說，爬蟲可能是一件非常復雜、技術門檻很高的事情。比如有的人認為學爬蟲必須精通 Python，然后哼哧哼哧系統(tǒng)學習 Python 的每個知識點，很久之后發(fā)現(xiàn)仍然爬不了數(shù)據(jù)；有的人則認為先要掌握網頁的知識，遂開始 HTML\CSS，結果入了前端的坑，瘁……

但掌握正確的方法，在短時間內做到能夠爬取主流網站的數(shù)據(jù)，其實非常容易實現(xiàn)。但建議你從一開始就要有一個具體的目標，你要爬取哪個網站的哪些數(shù)據(jù)，達到什么量級。

那些所有你認為必須的前置知識，都是可以在完成目標的過程中學到的。這里給你一條平滑的、零基礎快速入門的學習路徑。

1.學習Python包并實現(xiàn)基本的爬蟲過程

2.掌握各種技巧，應對特殊網站的反爬措施

3.學習scrapy，搭建工程化爬蟲

4.學習數(shù)據(jù)庫知識，應對大規(guī)模數(shù)據(jù)存儲與提取

5.分布式爬蟲，實現(xiàn)大規(guī)模并發(fā)采集

? -

學習 Python 包并實現(xiàn)基本的爬蟲過程

大部分爬蟲都是按“發(fā)送請求——獲得頁面——解析頁面——抽取并儲存內容”這樣的流程來進行，這其實也是模擬了我們使用瀏覽器獲取網頁信息的過程。

Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，建議從requests+Xpath 開始，requests 負責連接網站，返回網頁，Xpath 用于解析網頁，便于抽取數(shù)據(jù)。

如果你用過 BeautifulSoup，會發(fā)現(xiàn) Xpath 要省事不少，一層一層檢查元素代碼的工作，全都省略了。這樣下來基本套路都差不多，一般的靜態(tài)網站根本不在話下，豆瓣、糗事百科、騰訊新聞等基本上都可以上手了。

? -

掌握各種技巧，應對特殊網站的反爬措施

當然，爬蟲過程中也會經歷一些絕望，比如被封IP、比如各種奇怪的驗證碼、字體加密、userAgent訪問限制、各種動態(tài)加載等等。

遇到這些反爬蟲的手段，當然還需要一些高級的技巧來應對，常規(guī)的比如訪問頻率控制、使用代理IP池、字體反加密、抓包、驗證碼的OCR處理等等。

往往網站在高效開發(fā)和反爬蟲之間會偏向前者，這也為爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的網站已經難不到你了。

? -

學習 scrapy，搭建工程化的爬蟲

掌握前面的技術一般量級的數(shù)據(jù)和代碼基本沒有問題了，但是在遇到非常復雜的情況，可能仍然會力不從心，這個時候，強大的 scrapy 框架就非常有用了。

scrapy 是一個功能非常強大的爬蟲框架，它不僅能便捷地構建request，還有強大的 selector 能夠方便地解析 response，然而它最讓人驚喜的還是它超高的性能，讓你可以將爬蟲工程化、模塊化。

學會 scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備爬蟲工程師的思維了。

? -

學習數(shù)據(jù)庫基礎，應對大規(guī)模數(shù)據(jù)存儲

爬回來的數(shù)據(jù)量小的時候，你可以用文檔的形式來存儲，一旦數(shù)據(jù)量大了，這就有點行不通了。所以掌握一種數(shù)據(jù)庫是必須的，學習目前比較主流的 MongoDB 就OK。

MongoDB 可以方便你去存儲一些非結構化的數(shù)據(jù)，比如各種評論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。

因為這里要用到的數(shù)據(jù)庫知識其實非常簡單，主要是數(shù)據(jù)如何入庫、如何進行提取，在需要的時候再學習就行。

? -

分布式爬蟲，實現(xiàn)大規(guī)模并發(fā)采集

爬取基本數(shù)據(jù)已經不是問題了，你的瓶頸會集中到爬取海量數(shù)據(jù)的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字：分布式爬蟲。

分布式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具。

Scrapy 前面我們說過了，用于做基本的頁面爬取，MongoDB 用于存儲爬取的數(shù)據(jù)，Redis 則用來存儲要爬取的網頁隊列，也就是任務隊列。

所以有些東西看起來很嚇人，但其實分解開來，也不過如此。當你能夠寫分布式的爬蟲的時候，那么你可以去嘗試打造一些基本的爬蟲架構了，實現(xiàn)更加自動化的數(shù)據(jù)獲取。

如何高效學習 -

你看，這一條學習路徑下來，你已然可以成為老司機了，非常的順暢。所以在一開始的時候，盡量不要系統(tǒng)地去啃一些東西，找一個實際的項目（開始可以從豆瓣、小豬這種簡單的入手），直接開始就好。

因為爬蟲這種技術，既不需要你系統(tǒng)地精通一門語言，也不需要多么高深的數(shù)據(jù)庫技術，高效的姿勢就是從實際的項目中去學習這些零散的知識點，你能保證每次學到的都是最需要的那部分。

當然唯一麻煩的是，在具體的問題中，如何找到具體需要的那部分學習資源、如何篩選和甄別，是很多初學者面臨的一個大問題。

不過不用擔心，我們準備了一門非常系統(tǒng)的爬蟲課程，除了為你提供一條清晰、無痛的學習路徑，我們甄選了最實用的學習資源以及龐大的主流爬蟲案例庫。短時間的學習，你就能夠很好地掌握爬蟲這個技能，獲取你想得到的數(shù)據(jù)。

課程大綱 -

Python爬蟲：入門+進階

第一章：Python 爬蟲入門

1、什么是爬蟲

網址構成和翻頁機制

網頁源碼結構及網頁請求過程

爬蟲的應用及基本原理

2、初識Python爬蟲（案例1：爬取百度）

Python爬蟲環(huán)境搭建

創(chuàng)建第一個爬蟲：爬取百度首頁

爬蟲三步驟：獲取數(shù)據(jù)、解析數(shù)據(jù)、保存數(shù)據(jù)

3、使用Requests爬取豆瓣短評（案例2：爬取豆瓣）

Requests的安裝和基本用法

用Requests 爬取豆瓣短評信息

一定要知道的爬蟲協(xié)議

4、使用Xpath解析豆瓣短評（案例3：爬取豆瓣）

解析神器Xpath的安裝及介紹

Xpath的使用：瀏覽器復制和手寫

實戰(zhàn)：用 Xpath 解析豆瓣短評信息

5、使用Pandas保存豆瓣短評數(shù)據(jù)（案例4：保存數(shù)據(jù)）

pandas 的基本用法介紹

pandas文件保存、數(shù)據(jù)處理

實戰(zhàn)：使用pandas保存豆瓣短評數(shù)據(jù)

6、瀏覽器抓包及headers設置（案例5：爬取知乎）

爬蟲的一般思路：抓取、解析、存儲

瀏覽器抓包獲取Ajax加載的數(shù)據(jù)

設置headers 突破反爬蟲限制

實戰(zhàn)：爬取知乎用戶數(shù)據(jù)

7、數(shù)據(jù)入庫之MongoDB（案例6：爬取拉勾）

MongoDB及RoboMongo的安裝和使用

設置等待時間和修改信息頭

實戰(zhàn)：爬取拉勾職位數(shù)據(jù)

將數(shù)據(jù)存儲在MongoDB中

補充實戰(zhàn)：爬取微博移動端數(shù)據(jù)

8、Selenium爬取動態(tài)網頁（案例7：爬取淘寶）

動態(tài)網頁爬取神器Selenium搭建與使用

分析淘寶商品頁面動態(tài)信息

實戰(zhàn)：用Selenium 爬取淘寶網頁信息

第二章：Python爬蟲之Scrapy框架

1、爬蟲工程化及Scrapy框架初窺

html、css、js、數(shù)據(jù)庫、http協(xié)議

Scrapy調度器、下載中間件、項目管道等

常用爬蟲工具：數(shù)據(jù)庫、抓包工具等

2、Scrapy安裝及基本使用

Scrapy安裝

Scrapy的基本方法和屬性

開始第一個Scrapy項目

3、Scrapy選擇器的用法

常用選擇器：css、xpath、re、pyquery

css、xpath的使用方法

re的使用方法

pyquery的使用方法

4、Scrapy的項目管道

Item Pipeline的主要函數(shù)

實戰(zhàn)舉例：將數(shù)據(jù)寫入文件

實戰(zhàn)舉例：在管道里過濾數(shù)據(jù)

5、Scrapy的中間件

下載中間件和蜘蛛中間件

下載中間件的三大函數(shù)

系統(tǒng)默認提供的中間件

6、Scrapy的Request和Response詳解

Request對象基礎參數(shù)和高級參數(shù)

Response對象參數(shù)和方法

Response對象方法的綜合利用詳解

第三章：Python爬蟲進階操作

1、網絡進階之谷歌瀏覽器抓包分析

http請求詳細分析

網絡面板結構

過濾請求的關鍵字方法

復制、保存和清除網絡信息

查看資源發(fā)起者和依賴關系

2、數(shù)據(jù)入庫之去重與數(shù)據(jù)庫

如何進行數(shù)據(jù)去重

MongoDB數(shù)據(jù)入庫

第四章：分布式爬蟲及實訓項目

1、大規(guī)模并發(fā)采集——分布式爬蟲的編寫

Scrapy分布式爬取原理

Scrapy-Redis的使用

Scrapy分布式部署詳解

2、實訓項目（一）——58同城二手房監(jiān)控

58同城抓取流程分析

網站抓取代碼塊示例，搭建工程框架

各流程詳細操作及代碼實現(xiàn)

3、實訓項目（二）——去哪兒網模擬登陸

模擬登陸的原理及實現(xiàn)方式

cookie及session

去哪兒模擬登陸問題思考及方案準備

流程拆解及具體代碼實現(xiàn)

4、實訓項目（三）——京東商品數(shù)據(jù)抓取

Spider類和CrawlSpider類

京東商品信息抓取分析，確定方案流程

抓取詳細操作及代碼實現(xiàn)

高效的學習路徑 -

一上來就講理論、語法、編程語言是非常不合理的，我們會直接從具體的案例入手，通過實際的操作，學習具體的知識點。我們?yōu)槟阋?guī)劃了一條系統(tǒng)的學習路徑，讓你不再面對零散的知識點。

說點具體的，比如我們會直接用 lxml+Xpath取代 BeautifulSoup 來進行網頁解析，減少你不必要的檢查網頁元素的操作，比如 Requests 能夠解決的事情，我們就不用 urllib了，多種工具都能完成的，我們會給你最簡單的方法，這些看似細節(jié)，但可能是很多人都會踩的坑。

每課都有學習資料 -

你可能收集了以G計的的學習資源，但保存后從來沒打開過？我們已經幫你找到了最有用的那部分，并且用最簡單的形式描述出來，幫助你學習，你可以把更多的時間用于練習和實踐。

考慮到各種各樣的問題，我們在每一節(jié)都準備了課后資料，包含四個部分：

1.課程重點筆記，詳細闡述重點知識，幫助你理解和后續(xù)快速復習；

2.默認你是小白，補充所有基礎知識，哪怕是軟件的安裝與基本操作；

3.課內外案例提供參考代碼學習，讓你輕松應對主流網站爬蟲；

4.超多延伸知識點和更多問題的解決思路，讓你有能力去解決實際中遇到的一些特殊問題。

某節(jié)部分課后資料

超多案例，覆蓋主流網站 -

課程中提供了目前最常見的網站爬蟲案例：豆瓣、百度、知乎、淘寶、京東、微博……每個案例在課程視頻中都有詳細分析，老師帶你完成每一步操作。

另外，我們還會補充比如小豬、鏈家、58同城、網易云音樂、微信好友等案例，提供思路與代碼。

多次的模仿和練習之后，你可以很輕松地寫出自己的爬蟲代碼，并能夠輕松爬取這些主流網站的數(shù)據(jù)。

技能拓展：反爬蟲及數(shù)據(jù)存儲、處理 -

懂得基本的爬蟲是遠遠不夠的，所以我們會用實際的案例，帶你了解一些網站的反爬蟲措施，并且用具體的技術繞過限制。比如異步加載、IP限制、headers限制、驗證碼等等，這些比較常見的反爬蟲手段，你都可以很好地規(guī)避。

工程化的爬蟲、及分布式爬蟲技術，讓你有獲取大規(guī)模數(shù)據(jù)的可能。除了爬蟲的內容，你還將了解數(shù)據(jù)庫（Mongodb）、pandas 的基本知識，幫你存儲爬取的數(shù)據(jù)，同時可以對數(shù)據(jù)進行管理和清洗，你可以獲得更干凈的數(shù)據(jù)，以便后續(xù)的分析和處理。