Handler處理器 和 自定義Opener opener是 urllib.request.OpenerDirector 的實(shí)例,我們之前一直都...
認(rèn)證&權(quán)限 認(rèn)證和權(quán)限是一起配合使用的??梢栽倥渲梦募衧ettings配置全局默認(rèn)的認(rèn)證&權(quán)限 也可以在每個(gè)視圖中通過(guò)設(shè)置authentica...
使用scrapy-redis:Scrapy_redis在scrapy的基礎(chǔ)上實(shí)現(xiàn)了更多,更強(qiáng)大的功能,具體體現(xiàn)在:reqeust去重,爬蟲(chóng)持久化...
CrawlSpider它是Spider的派生類(lèi),Spider類(lèi)的設(shè)計(jì)原則是只爬取start_url列表中的網(wǎng)頁(yè),而CrawlSpider類(lèi)定義了...
Selenium是一個(gè)Web的自動(dòng)化測(cè)試工具,最初是為網(wǎng)站自動(dòng)化測(cè)試而開(kāi)發(fā)的,類(lèi)型像我們玩游戲用的按鍵精靈,可以按指定的命令自動(dòng)操作,不同是Se...
協(xié)程是什么? 協(xié)程是python個(gè)中另外一種實(shí)現(xiàn)多任務(wù)的方式,只不過(guò)比線(xiàn)程更小占用更小執(zhí)行單元(理解為需要的資源)。 為啥說(shuō)它是一個(gè)執(zhí)行單元,因...
多進(jìn)程 什么是進(jìn)程 一個(gè)程序運(yùn)行起來(lái)后,代碼+用到的資源 稱(chēng)之為進(jìn)程,它是操作系統(tǒng)分配資源的基本單元。不僅可以通過(guò)線(xiàn)程完成多任務(wù),進(jìn)程也是可以的...
多線(xiàn)程 多任務(wù)的概念 什么叫“多任務(wù)”呢?簡(jiǎn)單地說(shuō),就是操作系統(tǒng)可以同時(shí)運(yùn)行多個(gè)任務(wù)。 單核CPU如何執(zhí)行多任務(wù)? 多核CPU如何執(zhí)行多任務(wù)? ...
Xpath解析器: 什么是XPath? XPath (XML Path Language) 是一門(mén)在 XML 文檔中查找信息的語(yǔ)言,可用來(lái)在 X...