urllib庫

urllib庫

urllib庫是Python中一個(gè)最基本的網(wǎng)絡(luò)請(qǐng)求庫?？梢阅M瀏覽器的行為，向指定的服務(wù)器發(fā)送一個(gè)請(qǐng)求，并可以保存服務(wù)器返回的數(shù)據(jù)。

urlopen函數(shù)：

在Python3的urllib庫中，所有和網(wǎng)絡(luò)請(qǐng)求相關(guān)的方法，都被集到urllib.request模塊下面了，以先來看下urlopen函數(shù)基本的使用：

from urllib import request
resp = request.urlopen('http://www.baidu.com')
print(resp.read())

實(shí)際上，使用瀏覽器訪問百度，右鍵查看源代碼。你會(huì)發(fā)現(xiàn)，跟我們剛才打印出來的數(shù)據(jù)是一模一樣的。也就是說，上面的三行代碼就已經(jīng)幫我們把百度的首頁的全部代碼爬下來了。一個(gè)基本的url請(qǐng)求對(duì)應(yīng)的python代碼真的非常簡(jiǎn)單。
以下對(duì)urlopen函數(shù)的進(jìn)行詳細(xì)講解：

  1. url：請(qǐng)求的url。
  2. data：請(qǐng)求的data，如果設(shè)置了這個(gè)值，那么將變成post請(qǐng)求。
  3. 返回值：返回值是一個(gè)http.client.HTTPResponse對(duì)象，這個(gè)對(duì)象是一個(gè)類文件句柄對(duì)象。有read(size)、readline、readlines以及getcode等方法。

urlretrieve函數(shù)：

這個(gè)函數(shù)可以方便的將網(wǎng)頁上的一個(gè)文件保存到本地。以下代碼可以非常方便的將百度的首頁下載到本地：

from urllib import request
request.urlretrieve('http://www.baidu.com/','baidu.html')

urlencode函數(shù)：

用瀏覽器發(fā)送請(qǐng)求的時(shí)候，如果url中包含了中文或者其他特殊字符，那么瀏覽器會(huì)自動(dòng)的給我們進(jìn)行編碼。而如果使用代碼發(fā)送請(qǐng)求，那么就必須手動(dòng)的進(jìn)行編碼，這時(shí)候就應(yīng)該使用urlencode函數(shù)來實(shí)現(xiàn)。urlencode可以把字典數(shù)據(jù)轉(zhuǎn)換為URL編碼的數(shù)據(jù)。示例代碼如下：

from urllib import parse
data = {'name':'爬蟲基礎(chǔ)','greet':'hello world','age':100}
qs = parse.urlencode(data)
print(qs)

parse_qs函數(shù)：

可以將經(jīng)過編碼后的url參數(shù)進(jìn)行解碼。示例代碼如下：

from urllib import parse
qs = "name=%E7%88%AC%E8%99%AB%E5%9F%BA%E7%A1%80&greet=hello+world&age=100"
print(parse.parse_qs(qs))

urlparse和urlsplit：

有時(shí)候拿到一個(gè)url，想要對(duì)這個(gè)url中的各個(gè)組成部分進(jìn)行分割，那么這時(shí)候就可以使用urlparse或者是urlsplit來進(jìn)行分割。示例代碼如下：

from urllib import request,parse

url = 'http://www.baidu.com/s?username=zhiliao'

result = parse.urlsplit(url)
# result = parse.urlparse(url)

print('scheme:',result.scheme)
print('netloc:',result.netloc)
print('path:',result.path)
print('query:',result.query)

urlparse和urlsplit基本上是一模一樣的。唯一不一樣的地方是，urlparse里面多了一個(gè)params屬性，而urlsplit沒有這個(gè)params屬性。比如有一個(gè)url為：url = 'http://www.baidu.com/s;hello?wd=python&username=abc#1'，
那么urlparse可以獲取到hello，而urlsplit不可以獲取到。url中的params也用得比較少。

request.Request類：

如果想要在請(qǐng)求的時(shí)候增加一些請(qǐng)求頭，那么就必須使用request.Request類來實(shí)現(xiàn)。比如要增加一個(gè)User-Agent，示例代碼如下：

from urllib import request

headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
}
req = request.Request("http://www.baidu.com/",headers=headers)
resp = request.urlopen(req)
print(resp.read())

內(nèi)涵段子爬蟲實(shí)戰(zhàn)作業(yè)：

  1. url鏈接：http://neihanshequ.com/bar/1/
  2. 要求：能爬取一頁的數(shù)據(jù)就可以了。

ProxyHandler處理器（代理設(shè)置）

很多網(wǎng)站會(huì)檢測(cè)某一段時(shí)間某個(gè)IP的訪問次數(shù)(通過流量統(tǒng)計(jì)，系統(tǒng)日志等)，如果訪問次數(shù)多的不像正常人，它會(huì)禁止這個(gè)IP的訪問。
所以我們可以設(shè)置一些代理服務(wù)器，每隔一段時(shí)間換一個(gè)代理，就算IP被禁止，依然可以換個(gè)IP繼續(xù)爬取。
urllib中通過ProxyHandler來設(shè)置使用代理服務(wù)器，下面代碼說明如何使用自定義opener來使用代理：

from urllib import request

# 這個(gè)是沒有使用代理的
# resp = request.urlopen('http://httpbin.org/get')
# print(resp.read().decode("utf-8"))

# 這個(gè)是使用了代理的
handler = request.ProxyHandler({"http":"218.66.161.88:31769"})

opener = request.build_opener(handler)
req = request.Request("http://httpbin.org/ip")
resp = opener.open(req)
print(resp.read())

常用的代理有：

什么是cookie：

在網(wǎng)站中，http請(qǐng)求是無狀態(tài)的。也就是說即使第一次和服務(wù)器連接后并且登錄成功后，第二次請(qǐng)求服務(wù)器依然不能知道當(dāng)前請(qǐng)求是哪個(gè)用戶。cookie的出現(xiàn)就是為了解決這個(gè)問題，第一次登錄后服務(wù)器返回一些數(shù)據(jù)（cookie）給瀏覽器，然后瀏覽器保存在本地，當(dāng)該用戶發(fā)送第二次請(qǐng)求的時(shí)候，就會(huì)自動(dòng)的把上次請(qǐng)求存儲(chǔ)的cookie數(shù)據(jù)自動(dòng)的攜帶給服務(wù)器，服務(wù)器通過瀏覽器攜帶的數(shù)據(jù)就能判斷當(dāng)前用戶是哪個(gè)了。cookie存儲(chǔ)的數(shù)據(jù)量有限，不同的瀏覽器有不同的存儲(chǔ)大小，但一般不超過4KB。因此使用cookie只能存儲(chǔ)一些小量的數(shù)據(jù)。

cookie的格式：

Set-Cookie: NAME=VALUE；Expires/Max-age=DATE；Path=PATH；Domain=DOMAIN_NAME；SECURE

參數(shù)意義：

  • NAME：cookie的名字。
  • VALUE：cookie的值。
  • Expires：cookie的過期時(shí)間。
  • Path：cookie作用的路徑。
  • Domain：cookie作用的域名。
  • SECURE：是否只在https協(xié)議下起作用。

使用cookielib庫和HTTPCookieProcessor模擬登錄：

Cookie 是指網(wǎng)站服務(wù)器為了辨別用戶身份和進(jìn)行Session跟蹤，而儲(chǔ)存在用戶瀏覽器上的文本文件，Cookie可以保持登錄信息到用戶下次與服務(wù)器的會(huì)話。
這里以人人網(wǎng)為例。人人網(wǎng)中，要訪問某個(gè)人的主頁，必須先登錄才能訪問，登錄說白了就是要有cookie信息。那么如果我們想要用代碼的方式訪問，就必須要有正確的cookie信息才能訪問。解決方案有兩種，第一種是使用瀏覽器訪問，然后將cookie信息復(fù)制下來，放到headers中。示例代碼如下：

from urllib import request

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36',
    'Cookie': 'anonymid=jacdwz2x-8bjldx; depovince=GW; _r01_=1; _ga=GA1.2.1455063316.1511436360; _gid=GA1.2.862627163.1511436360; wp=1; JSESSIONID=abczwY8ecd4xz8RJcyP-v; jebecookies=d4497791-9d41-4269-9e2b-3858d4989785|||||; ick_login=884e75d4-f361-4cff-94bb-81fe6c42b220; _de=EA5778F44555C091303554EBBEB4676C696BF75400CE19CC; p=61a3c7d0d4b2d1e991095353f83fa2141; first_login_flag=1; ln_uact=970138074@qq.com; ln_hurl=http://hdn.xnimg.cn/photos/hdn121/20170428/1700/main_nhiB_aebd0000854a1986.jpg; t=3dd84a3117737e819dd2c32f1cdb91d01; societyguester=3dd84a3117737e819dd2c32f1cdb91d01; id=443362311; xnsid=169efdc0; loginfrom=syshome; ch_id=10016; jebe_key=9c062f5a-4335-4a91-bf7a-970f8b86a64e%7Ca022c303305d1b2ab6b5089643e4b5de%7C1511449232839%7C1; wp_fold=0'
}

url = 'http://www.renren.com/880151247/profile'

req = request.Request(url,headers=headers)
resp = request.urlopen(req)
with open('renren.html','w') as fp:
    fp.write(resp.read().decode('utf-8'))

但是每次在訪問需要cookie的頁面都要從瀏覽器中復(fù)制cookie比較麻煩。在Python處理Cookie，一般是通過http.cookiejar模塊和urllib模塊的HTTPCookieProcessor處理器類一起使用。http.cookiejar模塊主要作用是提供用于存儲(chǔ)cookie的對(duì)象。而HTTPCookieProcessor處理器主要作用是處理這些cookie對(duì)象，并構(gòu)建handler對(duì)象。

http.cookiejar模塊：

該模塊主要的類有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。這四個(gè)類的作用分別如下：

  1. CookieJar：管理HTTP cookie值、存儲(chǔ)HTTP請(qǐng)求生成的cookie、向傳出的HTTP請(qǐng)求添加cookie的對(duì)象。整個(gè)cookie都存儲(chǔ)在內(nèi)存中，對(duì)CookieJar實(shí)例進(jìn)行垃圾回收后cookie也將丟失。
  2. FileCookieJar (filename,delayload=None,policy=None)：從CookieJar派生而來，用來創(chuàng)建FileCookieJar實(shí)例，檢索cookie信息并將cookie存儲(chǔ)到文件中。filename是存儲(chǔ)cookie的文件名。delayload為True時(shí)支持延遲訪問訪問文件，即只有在需要時(shí)才讀取文件或在文件中存儲(chǔ)數(shù)據(jù)。
  3. MozillaCookieJar (filename,delayload=None,policy=None)：從FileCookieJar派生而來，創(chuàng)建與Mozilla瀏覽器 cookies.txt兼容的FileCookieJar實(shí)例。
  4. LWPCookieJar (filename,delayload=None,policy=None)：從FileCookieJar派生而來，創(chuàng)建與libwww-perl標(biāo)準(zhǔn)的 Set-Cookie3 文件格式兼容的FileCookieJar實(shí)例。

登錄人人網(wǎng)：

利用http.cookiejar和request.HTTPCookieProcessor登錄人人網(wǎng)。相關(guān)示例代碼如下：

from urllib import request,parse
from http.cookiejar import CookieJar

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
}

def get_opener():
    cookiejar = CookieJar()
    handler = request.HTTPCookieProcessor(cookiejar)
    opener = request.build_opener(handler)
    return opener

def login_renren(opener):
    data = {"email": "970138074@qq.com", "password": "pythonspider"}
    data = parse.urlencode(data).encode('utf-8')
    login_url = "http://www.renren.com/PLogin.do"
    req = request.Request(login_url, headers=headers, data=data)
    opener.open(req)

def visit_profile(opener):
    url = 'http://www.renren.com/880151247/profile'
    req = request.Request(url,headers=headers)
    resp = opener.open(req)
    with open('renren.html','w') as fp:
        fp.write(resp.read().decode("utf-8"))

if __name__ == '__main__':
    opener = get_opener()
    login_renren(opener)
    visit_profile(opener)

保存cookie到本地：

保存cookie到本地，可以使用cookiejar的save方法，并且需要指定一個(gè)文件名：

from urllib import request
from http.cookiejar import MozillaCookieJar

cookiejar = MozillaCookieJar("cookie.txt")
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
}
req = request.Request('http://httpbin.org/cookies',headers=headers)

resp = opener.open(req)
print(resp.read())
cookiejar.save(ignore_discard=True,ignore_expires=True)

從本地加載cookie：

從本地加載cookie，需要使用cookiejar的load方法，并且也需要指定方法：

from urllib import request
from http.cookiejar import MozillaCookieJar

cookiejar = MozillaCookieJar("cookie.txt")
cookiejar.load(ignore_expires=True,ignore_discard=True)
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
}
req = request.Request('http://httpbin.org/cookies',headers=headers)

resp = opener.open(req)
print(resp.read())
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容