堅(jiān)持學(xué)習(xí)，堅(jiān)持輸出~~
發(fā)簡信
IP屬地：江蘇
-
Pyspider基本使用pyspider web爬蟲框架簡單使用 pip3 install pyspider 在桌面創(chuàng)建一個(gè)pyspider的文件夾，在里打開終端，然后開啟 pyspider all...
-
PySpider API介紹
self.crawl 主要告訴pyspider需要爬取的網(wǎng)址 url 需要爬取的url列表 callback 這個(gè)參數(shù)用來指定爬取內(nèi)容后需要哪個(gè)方法來處理內(nèi)容．一般解析為 r...
-
redis與python交互，本地部署和遠(yuǎn)端部署
1.存儲(chǔ)在redis數(shù)據(jù)庫中，每個(gè)item都要加一個(gè)tableName,這樣取出來處理數(shù)據(jù)時(shí)，可以根據(jù)tableName進(jìn)行判斷 如果代碼報(bào)錯(cuò)回調(diào)方法錯(cuò)誤，打開爬蟲文件，需要...
-
middlewares下載中間件、斷點(diǎn)爬取、設(shè)置文件參數(shù)
User-AgentCookiesIPSelenium 1.User-Agent settings.py文件中添加幾個(gè)UA middlewares.py中設(shè)置User-Age...
-
Crawlspider通用爬蟲
創(chuàng)建CrawlSpider模板： scrapy genspider -t crawl spider名稱xxxx.com 繼承CrawlSpider LinkExtractor...
-
Scrapy框架簡介Scrapy架構(gòu)圖 一、新建項(xiàng)目 scrapy startproject myspider 創(chuàng)建爬蟲項(xiàng)目 scrapy startproject jobboleproject...
-
Scrapy框架、Scrapy（windows、ubuntu）安裝Scrapy是用純Python實(shí)現(xiàn)一個(gè)為了爬取網(wǎng)站數(shù)據(jù)、提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架，用途非常廣泛。 框架的力量，用戶只需要定制開發(fā)幾個(gè)模塊就可以輕松的實(shí)現(xiàn)一個(gè)爬蟲，用來抓...
-
Redis總結(jié)
服務(wù)器端 服務(wù)器端命令 redis-server 查看幫助文檔 redis-server --help 啟動(dòng) sudo server redis start 停止 sudo ...
-
Mysql總結(jié)
MySql的主要存儲(chǔ)引擎有哪些,主要區(qū)別? MYISAM INNODE MEMORY 區(qū)別:MYISAM: 它不支持事務(wù),也不支持外鍵 INNODE： InnoDB存儲(chǔ)引擎提...
-
多線程、多進(jìn)程
并發(fā)：指的是任務(wù)數(shù)多余cpu核數(shù)，通過操作系統(tǒng)的各種任務(wù)調(diào)度算法，實(shí)現(xiàn)用多個(gè)任務(wù)“一起”執(zhí)行（實(shí)際上總有一些任務(wù)不在執(zhí)行，因?yàn)榍袚Q任務(wù)的速度相當(dāng)快，看上去一起執(zhí)行而已） 并行...
-
Re、Xpath、Beautiful、PyQuery、
正則 在python中使用正則表達(dá)式需要導(dǎo)入re模塊 Xpath xpath:可以在xml中查找信息，對xml文檔中的元素進(jìn)行遍歷和屬性的提取xml：被設(shè)計(jì)的目的，是為了傳輸...
-
數(shù)據(jù)庫的備份與恢復(fù)
MongoDB備份（mongodump） mongodump -h dbhost -d dbname -o dbdirectory-h 服務(wù)器地址-d 需要備份的數(shù)據(jù)庫名-o...
-
mongodb權(quán)限管理
超級(jí)管理員 1.創(chuàng)建超級(jí)管理用戶 2.創(chuàng)建成功后退出mongodb客戶端， 然后service mongodb stop， 再開啟安全認(rèn)證， 3.啟用安全認(rèn)證 ４．重啟mon...
