第二十章 requests 模塊實(shí)現(xiàn)小爬蟲

requests

安裝

pip3 install requests

官方中文文檔:http://cn.python-requests.org/zh_CN/latest/user/quickstart.html#id4

GET

# 1、無參數(shù)實(shí)例
  
import requests
  
ret = requests.get('https://github.com/timeline.json')
  
print(ret.url)
print(ret.text)
  
  
# 2、有參數(shù)實(shí)例
  
import requests
  
payload = {'key1': 'value1', 'key2': 'value2'}
ret = requests.get("http://httpbin.org/get", params=payload)
  
print(ret.url)
print(ret.text)

POST

# 1、基本POST實(shí)例
  
import requests
  
payload = {'key1': 'value1', 'key2': 'value2'}
ret = requests.post("http://httpbin.org/post", data=payload)
  
print(ret.text)
  
  
# 2、發(fā)送請求頭和數(shù)據(jù)實(shí)例
  
import requests
import json
  
url = 'https://api.github.com/some/endpoint'
payload = {'some': 'data'}
headers = {'content-type': 'application/json'}
  
ret = requests.post(url, 
                    data=json.dumps(payload), 
                    headers=headers)

print(ret.text)
print(ret.cookies)

# 上面的等同于
ret = requests.post(url, json=payload)

更多

def param_method_url():
    # requests.request(method='get',
    #                  url='http://127.0.0.1:8000/test/')
    # requests.request(method='post', 
    #                  url='http://127.0.0.1:8000/test/')
    pass


def param_param():
    # - 可以是字典
    # - 可以是字符串
    # - 可以是字節(jié)(ascii編碼以內(nèi))

    # requests.request(method='get',
    #                  url='http://127.0.0.1:8000/test/',
    #                  params={'k1': 'v1', 'k2': '電話費(fèi)'})
    
    ## 也可像下面這樣
    # requests.request(method='get',
    #                  url='http://127.0.0.1:8000/test/',
    #                  params="k1=v1&k2=電話費(fèi)&k3=v3&k3=vv3")

    # requests.request(method='get',
    # url='http://127.0.0.1:8000/test/',
    # params=bytes("k1=v1&k2=k2", encoding='utf8'))

    # 錯誤
    # requests.request(method='get',
    # url='http://127.0.0.1:8000/test/',
    # params=bytes("k1=v1&k2=電話費(fèi)&k3=v3&k3=vv3", encoding='utf8'))
    pass


def param_data():
    # 可以是字典
    # 可以是字符串
    # 可以是字節(jié)
    # 可以是文件對象

    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # data={'k1': 'v1', 'k2': '水電費(fèi)'})

    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # data="k1=v1; k2=v2; k3=v3; k3=v4"
    # )

    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # data="k1=v1;k2=v2;k3=v3;k3=v4",
    # headers={'Content-Type': 'application/x-www-form-urlencoded'}
    # )

    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # data=open('data_file.py', mode='r', encoding='utf-8'), # 文件內(nèi)容是:k1=v1;k2=v2;k3=v3;k3=v4
    # headers={'Content-Type': 'application/x-www-form-urlencoded'}
    # )
    pass


def param_json():
    # 將json中對應(yīng)的數(shù)據(jù)進(jìn)行序列化成一個字符串,json.dumps(...)
    # 然后發(fā)送到服務(wù)器端的body中,并且Content-Type是 {'Content-Type': 'application/json'}
    requests.request(method='POST',
                     url='http://127.0.0.1:8000/test/',
                     json={'k1': 'v1', 'k2': '水電費(fèi)'})


def param_headers():
    # 發(fā)送請求頭到服務(wù)器端
    requests.request(method='POST',
                     url='http://127.0.0.1:8000/test/',
                     json={'k1': 'v1', 'k2': '水電費(fèi)'},
                     headers={'Content-Type': 'application/x-www-form-urlencoded'}
                     )


def param_cookies():
    # 發(fā)送Cookie到服務(wù)器端
    requests.request(method='POST',
                     url='http://127.0.0.1:8000/test/',
                     data={'k1': 'v1', 'k2': 'v2'},
                     cookies={'cook1': 'value1'},
                     )
    # 也可以使用CookieJar(字典形式就是在此基礎(chǔ)上封裝)
    from http.cookiejar import CookieJar
    from http.cookiejar import Cookie

    obj = CookieJar()
    obj.set_cookie(Cookie(version=0, name='c1', value='v1', port=None, domain='', path='/', secure=False, expires=None,
                          discard=True, comment=None, comment_url=None, rest={'HttpOnly': None}, rfc2109=False,
                          port_specified=False, domain_specified=False, domain_initial_dot=False, path_specified=False)
                   )
    requests.request(method='POST',
                     url='http://127.0.0.1:8000/test/',
                     data={'k1': 'v1', 'k2': 'v2'},
                     cookies=obj)
    

def requests_session():
    import requests

    session = requests.Session()

    ### 1、首先登陸任何頁面,獲取cookie

    i1 = session.get(url="http://dig.chouti.com/help/service")

    ### 2、用戶登陸,攜帶上一次的cookie,后臺對cookie中的 gpsd 進(jìn)行授權(quán)
    i2 = session.post(
        url="http://dig.chouti.com/login",
        data={
            'phone': "8615131255089",
            'password': "xxxxxx",
            'oneMonth': ""
        }
    )

    i3 = session.post(
        url="http://dig.chouti.com/link/vote?linksId=8589623",
    )
    print(i3.text)
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容