python中的裝飾器 1. @property ['prɑp?ti] @property裝飾器就是負責把一個方法變成屬性調(diào)用。 上面的birth是可讀寫屬性(。@prope...
發(fā)簡信
IP屬地：江蘇
-
python中的裝飾器
-
-
爬蟲：1. requests
requests和元素定位 requests requests：HTTP for Humans相比之前使用的urllib2,requests稱得上是for humans.這里...
-
爬蟲：2. 元素定位
元素定位 requests返回的response是html格式，我們需要把需要的數(shù)據(jù)提取出來，那么就需要元素定位。常用的元素定位方式有xpath和css,如果你熟悉javas...
-
爬蟲：6. 抓包分析
抓包分析 抓包分析是爬蟲必不可少的技能之一，常用的工具有Fiddler4，Charles, whareshark或者瀏覽器的debug.什么時候需要抓包分析呢？ 登錄 這里使...
-
爬蟲：10. supervisor進程管理
supervisor進程管理 supervisor就是用Python開發(fā)的一套通用的進程管理程序，能將一個普通的命令行進程變?yōu)楹笈_daemon，并監(jiān)控進程狀態(tài)，異常退出時能自...
-
爬蟲：9. 驗證碼識別
驗證碼識別 驗證碼識別是爬蟲必不可少的一項技能，但是目前的驗證碼花樣百出，此教程只能做到識別較簡單的，那些人眼都很難識別，或者字符扭曲混合在一起的驗證碼也很難做到正確識別。我...
-
爬蟲：7.反反爬蟲
反反爬蟲 通常通過如下方法來進行反爬蟲 檢查User-Agent 驗證碼 一個IP訪問的頻次或總的訪問次數(shù) cookie有效時間 數(shù)據(jù)存儲為圖片格式 應對方法： 隨機UA 驗...
-
爬蟲：5.增量爬取和去重
增量爬取和去重 增量爬取 當一個站點有數(shù)據(jù)更新的時候，需要進行增量爬取，通常有以下集中情況 某個特定頁面數(shù)據(jù)更新 新增了頁面 情況1的時候，我們對此特定頁面的內(nèi)容做哈希，當然...
-
爬蟲：4. 消息隊列
消息隊列 在構(gòu)建一個松耦合或是異步的系統(tǒng)時，消息隊列是最常用的方法。在爬蟲中使用消息隊列有哪些好處呢？ 通過消息隊列實現(xiàn)線程安全的去重 多進程消費爬蟲任務隊列 確保每一條任務...
