request:
Requests 繼承了urllib的所有特性。Requests支持HTTP連接保持和連接池，支持使用cookie保持會話，支持文件上傳，支持自動確定響應(yīng)內(nèi)容的編碼，支持國際化的URL和 POST 數(shù)據(jù)自動編碼。
requests 的底層實現(xiàn)其實就是 urllib
使用response.text 時，Requests 會基于 HTTP 響應(yīng)的文本編碼自動解碼響應(yīng)內(nèi)容，大多數(shù) Unicode 字符集都能被無縫地解碼。
使用response.content 時，返回的是服務(wù)器響應(yīng)數(shù)據(jù)的原始二進(jìn)制字節(jié)流，可以用來保存圖片等二進(jìn)制文件。

import requests
params = {'wd': '孫悟空'}
url = 'http://www.baidu.com/s?'
headers = {
    'User-Agent': 'Mozilla / 5.0(X11;Ubuntu;Linuxx86_64;rv: 54.0) Gecko / 20100101Firefox / 54.0'
}
# 發(fā)起get請求
response = requests.get(url=url, headers=headers, params=params)

# 返回解碼后內(nèi)容
content = response.text
# 獲取
print(content)

# 返回二進(jìn)制
content = response.content.decode()
# 返回響應(yīng)碼
print(response.status_code)
# 請求頭
print(response.request.headers)
# 返回當(dāng)前編碼格式
print(response.encoding)
# 查看響應(yīng)碼
print(response.status_code)
with open('baidu.html', 'w') as f:
    f.write(content)

對于 POST 請求來說，我們一般需要為它增加一些參數(shù)。那么最基本的傳參方法可以利用 data 這個參數(shù)。

import requests

req_url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&    sessionFrom=null"

#分析表單數(shù)據(jù)
formdata = {
    'i': '你好',
    'from': 'AUTO',
    'to': 'AUTO',
    'smartresult': 'dict',
    'client': 'fanyideskweb',
    'doctype': 'json',
    'version': '2.1',
    'keyfrom': 'fanyi.web',
    'action': 'FY_BY_CLICKBUTTION',
    'typoResult': 'false',
}

#添加請求頭
req_header = {
    'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)     Chrome/67.0.3396.99 Safari/537.36'}

response = requests.post(
req_url, 
data = formdata, 
headers = req_header)

#print (response.text)
# 如果是json文件可以直接顯示
print (response.json())

xpath:
XPath (XML Path Language) 是一門在 XML 文檔中查找信息的語言，可用來在 XML 文檔中對元素和屬性進(jìn)行遍歷。

import requests
import re
import time
import urllib.parse
from lxml import etree


class MeiNv():
    def __init__(self):
       self.url = 'http://www.tieba.baidu.com/category/40076/?page='

        self.headers = {
        'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:54.0) Gecko/20100101 Firefox/54.0'

    }

def loadpage(self, url):
    response = requests.get(url=self.url)
    html = response.content.decode('utf-8')

    with open('baidu.html', 'w') as f:
        f.write(html)

    #html轉(zhuǎn)成xml
    content = etree.HTML(html)
    # print(content)
    url_list = content.xpath(
        '//div[@class="threadlist_lz clearfix"]/div[@class="threadlist_title pull_left j_th_tit "]/a/@href'
    )
    # print(url_list)
    for detail_url in url_list:
        full_url = 'http://tieba.baidu.com' + detail_url
        self.detail(full_url)


# 詳情頁
def detail(self, url):
    response = requests.get(url=url)
    html = response.content.decode('utf-8')
    content = etree.HTML(html)
    img_list = content.xpath(
        '//img[@class="BDE_Image"]/@src'
    )
    for img in img_list:
        self.download(img)


#下載
def download(self, url):
    response = requests.get(url=url)
    #無需decode
    self.save(response.content, url)

# 保存
def save(self, content, img_url):
    filename = 'tieba/' + img_url[-10:] + '.jpg'
    print('正在下載' + filename)
    with open(filename, 'wb') as f:
        f.write(content)

def main(self):
    kw = input('請輸入網(wǎng)址')
    start = int(input('輸入起始頁'))
    end = int(input('輸入終止頁'))
    for i in range(start, end + 1):
        #拼接
        full_url = self.url + 'f?' + 'kw=' + kw + '&' + 'pn=' + str((i-1)*50)
        self.loadpage(full_url)


if __name__ == '__main__':
    mn = MeiNv()
    mn.main()

bs4:
和 lxml 一樣，Beautiful Soup 也是一個HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 數(shù)據(jù)。
lxml 只會局部遍歷，而Beautiful Soup 是基于HTML DOM的，會載入整個文檔，解析整個DOM樹，因此時間和內(nèi)存開銷都會大很多，所以性能要低于lxml。
BeautifulSoup 用來解析 HTML 比較簡單，API非常人性化，支持CSS選擇器、Python標(biāo)準(zhǔn)庫中的HTML解析器，也支持 lxml 的 XML解析器。

import requests
from bs4 import BeautifulSoup
import urllib.parse
import jsonpath
import json
import re
class QiDianSpider():
    def __init__(self):
        self.url = 'https://www.address.com/all?page=1'
        self.headers = {
            'User-Agent': 'Mozilla / 5.0(X11;Ubuntu;Linuxx86_64;rv: 54.0) Gecko / 20100101Firefox / 54.0'
        }


def loadpage(self, url):
    response = requests.get(url=url, headers=self.headers)
    bs = BeautifulSoup(response.text, 'lxml')
    li_list = bs.select('ul[class="all-img-list cf"] li')
    for li in li_list:
        title = li.select('div[class="book-mid-info"] h4 a')[0].get_text()
        href = urllib.parse.urljoin(response.url, li.select('div[class="book-mid-info"] h4 a')[0].get('href'))
        author = li.select('div[class="book-mid-info"] p a')[0].get_text()
        type1 = li.select('div[class="book-mid-info"] p a')[1].get_text()
        type2 = li.select('div[class="book-mid-info"] p a')[2].get_text()
        id = re.search('(\d+)',href).group(1)
        print(id)


        dict = {
            'title':title,
            'author':author,
            'type':type1+'.'+type2,
            'href':href,
            'id':id
        }
    #     print(dict)
        self.loaddetail(id, dict)


def loaddetail(self, bookid, dict):
    response = requests.get(url='https://book.qidian.com/ajax/book/category?_csrfToken=asYDuKBW3fwHjeBdQNcX1GFeE2B9KcEe6dJyt&bookId='+bookid, headers=self.headers)
    html = response.content.decode('utf-8')

    vs = jsonpath.jsonpath(json.loads(html), '$..vs')
    count = sum(jsonpath.jsonpath(json.loads(html), '$..cnt'))
    dict['vs'] = vs[0]
    with open('qidian.html', 'w') as f:
        f.write(json.dumps(dict,ensure_ascii=False)+'\n')



def start(self):
    self.loadpage(self.url)

if __name__ == '__main__':
    qds = QiDianSpider()
    qds.start()

selenium:
Selenium是一個Web的自動化測試工具，最初是為網(wǎng)站自動化測試而開發(fā)的，類型像我們玩游戲用的按鍵精靈，可以按指定的命令自動操作，不同是Selenium 可以直接運(yùn)行在瀏覽器上，它支持所有主流的瀏覽器（包括PhantomJS這些無界面的瀏覽器）。 Selenium 可以根據(jù)我們的指令，讓瀏覽器自動加載頁面，獲取需要的數(shù)據(jù)，甚至頁面截屏，或者判斷網(wǎng)站上某些動作是否發(fā)生。
Selenium 自己不帶瀏覽器，不支持瀏覽器的功能，它需要與第三方瀏覽器結(jié)合在一起才能使用。但是我們有時候需要讓它內(nèi)嵌在代碼中運(yùn)行，所以我們可以用一個叫 PhantomJS 的工具代替真實的瀏覽器。

from selenium import webdriver

driver = webdriver.Chrome(executable_path='/home/hu/下載/chromedriver')
driver.get('https://www.baidu.com/')
driver.save_screenshot('baidu.png')
with open('baidu.html', 'w') as f:
f.write(driver.page_source)

PhantomJS
PhantomJS 是一個基于Webkit的“無界面”(headless)瀏覽器，它會把網(wǎng)站加載到內(nèi)存并執(zhí)行頁面上的 JavaScript，因為不會展示圖形界面，所以運(yùn)行起來比完整的瀏覽器要高效。
如果我們把 Selenium 和 PhantomJS 結(jié)合在一起，就可以運(yùn)行一個非常強(qiáng)大的網(wǎng)絡(luò)爬蟲了，這個爬蟲可以處理 JavaScrip、Cookie、headers，以及任何我們真實用戶需要做的事情。

from selenium import webdriver

browseDriver = webdriver.Phantomjs(executable_path="Phantomjs的驅(qū)動路徑")
browseDriver.get('https://www.baidu.com')
print(browseDriver.page_source)
print(browseDriver.current_url)