發(fā)簡(jiǎn)信
IP屬地：湖南
-
Python爬蟲（九）通過txt/Excel保存爬蟲數(shù)據(jù)
通過前面的學(xué)習(xí)，你應(yīng)該已經(jīng)知道怎么提取到爬蟲數(shù)據(jù)了。但是提取數(shù)據(jù)之后，我們應(yīng)該講數(shù)據(jù)保存起來(lái)，或者進(jìn)一步應(yīng)用起來(lái)，爬蟲才有意義。爬蟲最常用的數(shù)據(jù)...
-
Python爬蟲（八）數(shù)據(jù)處理方法之Xpath在學(xué)習(xí)本小節(jié)的知識(shí)之前，對(duì)于Xpath的語(yǔ)法最好有一個(gè)簡(jiǎn)單的了解。如果不是很了解的，可以看一下我的另一篇文章Xpath之爬蟲常用方法總結(jié)。 爬蟲...
-
Xpath之爬蟲常用方法總結(jié)
Xpath簡(jiǎn)介 XPath即為XML路徑語(yǔ)言（XML Path Language），它是一種用來(lái)確定XML文檔中某部分位置的語(yǔ)言。XPath基于...
-
Python爬蟲（七）數(shù)據(jù)處理方法之JSON什么是JSON JSON 指的是 JavaScript 對(duì)象表示法（JavaScript Object Notation），是輕量級(jí)的文本數(shù)據(jù)交...
-
Python爬蟲之json.loads()、json.load()、json.dump()以及json.dumps()的區(qū)別json.dumps()，用于數(shù)據(jù)類型的轉(zhuǎn)換json.dumps()用于將dict類型的數(shù)據(jù)轉(zhuǎn)成str，因?yàn)槿绻苯訉ict類型的數(shù)據(jù)寫入js...
-
Python爬蟲（六）cookie相關(guān)的請(qǐng)求處理
之前的文章中講到，有很多網(wǎng)站為了防止爬蟲程序爬網(wǎng)站造成網(wǎng)站癱瘓，所以我們的程序在模擬瀏覽器訪問這些網(wǎng)站時(shí)，需要攜帶一些headers頭部信息才能...
-
Python爬蟲（五）timeout以及retrying的使用timeout參數(shù)的使用 在某些網(wǎng)絡(luò)情況不好或者服務(wù)器端異常的情況會(huì)出現(xiàn)請(qǐng)求慢或者請(qǐng)求異常的情況，這個(gè)時(shí)候我們需要給請(qǐng)求設(shè)置一個(gè)超時(shí)時(shí)間，而不是...
-
Python爬蟲（四）發(fā)送帶Headers的請(qǐng)求如果你嘗試了我在Python爬蟲（二）Requests庫(kù)題中講述的response方式，發(fā)現(xiàn)有可能會(huì)獲取不到網(wǎng)頁(yè)源碼（登陸知乎一定可以獲取不到）...
-
Python爬蟲（三）Requests庫(kù)什么是Requests Requests是用python語(yǔ)言基于urllib編寫的，采用的是Apache2 Licensed開源協(xié)議的HTTP庫(kù)...