一．行業(yè)分析（市場(chǎng)現(xiàn)狀，代表性產(chǎn)品，產(chǎn)品市場(chǎng)占比） 隨著人們生活水平和收入的提高，越來(lái)越多的人選擇去電影院看電影，為了身心放松，為了聯(lián)絡(luò)感情，為了潮流，為了追星或追劇，為了3...
發(fā)簡(jiǎn)信
IP屬地：海南
-
購(gòu)票軟件競(jìng)品分析報(bào)告（淘票票測(cè)試項(xiàng)目） -
淘票票產(chǎn)品需求說(shuō)明書(shū)（測(cè)試項(xiàng)目）目錄 一、 簡(jiǎn)介 1 用戶首次登陸 1 二、 產(chǎn)品功能結(jié)構(gòu) 2 三、 產(chǎn)品需求 3 四、 產(chǎn)品功能流程 4 五、產(chǎn)品特性 6 購(gòu)票功能模塊 7 六、其他產(chǎn)品需求...
-
-
中國(guó)曲譜網(wǎng)爬蟲(chóng)項(xiàng)目接口文檔
接口功能 獲取制定項(xiàng)目的分類(lèi)信息 URL http://www.qupu123.com/ 支持格式 JSON HTTP請(qǐng)求方式 GET 返回字段 接口示例 地址：http:/...
-
pyspider
pyspider是一個(gè)爬蟲(chóng)架構(gòu)的開(kāi)源化實(shí)現(xiàn) 主要的功能需求是： 抓取、更新調(diào)度多站點(diǎn)的特定的頁(yè)面 需要對(duì)頁(yè)面進(jìn)行結(jié)構(gòu)化信息提取 靈活可擴(kuò)展，穩(wěn)定可監(jiān)控 而這也是絕大多數(shù)pyt...
-
scrapy爬蟲(chóng)的部署
以 下廚房 為例 ： pip3 install scrapyd(服務(wù)) pip3 install scrapyd-client(打包) scrapyd-deploy -p ...
-
CrawlSpider的使用
CrawlSpider是爬取那些具有一定規(guī)則網(wǎng)站的常用的爬蟲(chóng)，它基于Spider并有一些獨(dú)特屬性 rules: 是Rule對(duì)象的集合，用于匹配目標(biāo)網(wǎng)站并排除干擾 parse_...
-
Scrapy_Redis Settings.py設(shè)置文件
項(xiàng)目名稱(chēng) 爬蟲(chóng)存儲(chǔ)的文件路徑 創(chuàng)建爬蟲(chóng)文件的模版,創(chuàng)建號(hào)的爬蟲(chóng)文件會(huì)存放在這個(gè)目錄下 設(shè)置ua,來(lái)模擬瀏覽器請(qǐng)求 設(shè)置是否需要準(zhǔn)守robot協(xié)議:默認(rèn)為T(mén)rue 設(shè)置請(qǐng)求的最...
-
Scrapy_Redis分布式爬蟲(chóng)pip3 install scrapy-redis Scrapy-redis提供了四種組件（components）： (四種組件意味著這四個(gè)模塊都要做相應(yīng)的修改) Sched...
-
實(shí)現(xiàn)通用爬蟲(chóng)、常見(jiàn)反爬措施、下載中間鍵
實(shí)現(xiàn)通用爬蟲(chóng) 創(chuàng)建爬蟲(chóng)文件的方式scrapy genspider -t crawl 爬蟲(chóng)文件 域 爬蟲(chóng)文件繼承的類(lèi)CrawlSpider rules ： 里面存放的是Rule...
-
Redis 簡(jiǎn)介、練習(xí)Redis Redis是一個(gè)開(kāi)源的使用ANSI C語(yǔ)言編寫(xiě)、支持網(wǎng)絡(luò)、可基于內(nèi)存亦可持久化的日志型、Key-Value數(shù)據(jù)庫(kù)，并提供多種語(yǔ)言的API。從2010年3月15日起...
-
Scrapy框架（下載項(xiàng)目圖片以及實(shí)現(xiàn)爬蟲(chóng)數(shù)據(jù)持久化保存）scrapy shell安裝 Scrapy 框架 pip3 install Scrapy Scrapy架構(gòu)圖(綠線是數(shù)據(jù)流向)： Scrapy Engine(引擎): 負(fù)責(zé)Spider、ItemPi...
-
MongoDB
啟動(dòng) ：sudo service mongod |mongodb start停止 ：sudo service mongod |mongodb stop重啟 ：sudo ser...
-
進(jìn)程、進(jìn)程和線程對(duì)比功能
進(jìn)程 什么是進(jìn)程程序：例如xxx.py這是程序，是一個(gè)靜態(tài)的 進(jìn)程：一個(gè)程序運(yùn)行起來(lái)后，代碼+用到的資源 稱(chēng)之為進(jìn)程，它是操作系統(tǒng)分配資源的基本單元，不僅可以通過(guò)線程完成多任...
-
協(xié)程、Seleniium
協(xié)程：協(xié)程擁有自己的CPU寄存器上下文，所占用的資源非常少，當(dāng)我們?cè)跀y程中遇到耗時(shí)操作時(shí)，我們會(huì)從一個(gè)攜程切換到另一個(gè)協(xié)程，這時(shí)會(huì)把相關(guān)數(shù)據(jù)保存在CPU寄存器上下文，當(dāng)耗時(shí)操...
-
beautifulsoup、pyquery
beautifulsoup 和 lxml 一樣，Beautiful Soup 也是一個(gè)HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 數(shù)據(jù)。 lxm...
-
re模塊、xpath
re模塊的高級(jí)用法 search: search 方法用于查找字符串的任何位置，它也是一次匹配，只要找到了一個(gè)匹配的結(jié)果就返回，而不是查找所有匹配的結(jié)果，它的一般使用形式如下...
-
多線程
多線程爬蟲(chóng) 1、創(chuàng)建一個(gè)任務(wù)隊(duì)列 ： 存放待爬取的url地址2、創(chuàng)建爬取線程發(fā)起請(qǐng)求，執(zhí)行任務(wù)下載3、創(chuàng)建數(shù)據(jù)隊(duì)列 ： 存放爬取線程獲取的頁(yè)面源碼4、創(chuàng)建解析線程 ： 解析H...
