思路

還記的上一篇文章里使用的Cookie嗎？由于每次登陸淘寶的Cookie都不一樣，所以每次都要手動登陸獲取新的Cookie。這里我想研究一下怎樣用程序獲取這個Cookie。

分析報(bào)文

手動登陸淘寶并抓取報(bào)文，這里要注意的是如果頁面發(fā)生跳轉(zhuǎn)造成報(bào)文丟失，則需要勾選Preserve Log, 同時(shí)在跳轉(zhuǎn)之前按個點(diǎn)一下每個報(bào)文用來緩存，否則跳轉(zhuǎn)之前的報(bào)文雖然都在，但不能查看具體的內(nèi)容。

經(jīng)過分析，Cookie值得來源主要來自兩個關(guān)于login.jhtml的POST請求，第一條是你訪問登陸頁面時(shí)的報(bào)文，第二條則是你輸入賬戶密碼之后點(diǎn)擊登陸按鈕后發(fā)送的報(bào)文，如圖：

taobao-登陸-login.jpg

響應(yīng)頭里面包含了set-cookie字段， HTTP cookie：

An HTTP cookie (also called web cookie, Internet cookie, browser cookie, or simply cookie) is a small piece of data sent from a website and stored on the user's computer by the user's web browser while the user is browsing.  

最后，因此這部分就是我們要的Cookie，處理的時(shí)候?qū)⒑竺娴腄omain和Path去掉，然后將剩下的部分保存下來即可。

這里的難點(diǎn)在于，第二條報(bào)文帶很多FormData，大多數(shù)很容易理解也很容易獲得，除了ncoToken, gvfdcre, um_token, 和 ua，同樣這些值應(yīng)該會在其他報(bào)文中找到計(jì)算方法，前提是都能看懂。不幸的是，我看了半個小時(shí)后沒有找到具體的計(jì)算um_token的方法。之后我就放棄了，因?yàn)槲疫€知道一種曲線救國的方法。

使用Selenium模擬瀏覽器行為

在上篇文章淘寶抓取所有訂單中，在獲取ua值時(shí)我就用到了Selenium+PhantomJS來模擬瀏覽器執(zhí)行Javascript并獲得腳本運(yùn)行后的結(jié)果。這里簡單再介紹下Selenium。

Selenium的官方文檔是Selenium with Python。安裝Selenium非常簡單pip install selenium，除了安裝，要正常使用Selenium還需要一個瀏覽器驅(qū)動并安裝對應(yīng)的瀏覽器本身，比如說如果你要模擬Chrome，你至少需要一個能正常使用的Chrome瀏覽器和一個Chromedriver，后者文檔里有下載地址，Driver是一個可執(zhí)行文件，你需要把它的目錄添加到環(huán)境變量Path中。目前Selenium支持四種瀏覽器：Chrome，Edge，F(xiàn)irefox和Safari。當(dāng)然也支持PhantomJS，不過在運(yùn)行的時(shí)候會輸出警告信息，另外幾種瀏覽器也都支持無界面訪問模式。

顯然，這種組合很適合一個場景：WEB自動化測試。不過結(jié)合Python做爬蟲，也非常有用。瀏覽器用來解析JS文件，通過Webdriver與Selenium連接，Selenium再通過一些API供Python使用達(dá)到與瀏覽器交互的目的（也有其他語言的API）。

目前Selenium提供了7中用來定位網(wǎng)頁元素的接口，可以分別通過ID、Name、XPath、鏈接文本、標(biāo)簽名、類名和CSS選擇器來定位元素。定位元素成功后，你可以與網(wǎng)頁進(jìn)行交互：進(jìn)行表格填寫，拖放，窗口交互，對話框操作，訪問歷史記錄以及操作Cookies。你也可以設(shè)置等待瀏覽器解析并完成js加載之后再進(jìn)行內(nèi)容抓取。具體的API和其他特性可以參考官方文檔。

如果要模擬淘寶賬號登陸，需要填寫兩個文本框，單擊一次登陸按鈕，最后抓取獲得到的Cookie。

如果要模擬二維碼登錄，需要先點(diǎn)開二維碼，然后等待手機(jī)掃碼，跳轉(zhuǎn)時(shí)抓取Cookie。

不幸的是，第一種方法沒有成功，就是那種理論上都沒問題，但就是不成功的情況，后面我會細(xì)說。第二種方法可以成功。

代碼

賬號密碼登陸

我這里使用URL是否以https://login.taobao.com開頭來判斷是否登陸成功。關(guān)于賬號密碼的登陸邏輯是這樣的：

1. 判斷是否處于登陸頁面，不是的話跳轉(zhuǎn)到6，否則繼續(xù)；
2. 填寫用戶名和密碼，判斷是否有滑動塊；
3. 如果滑動快的文字是驗(yàn)證通過, 跳轉(zhuǎn)到5；
4. 判斷文字是否是請按住滑塊，如果是，定位滑塊，并向右拖動滑塊；其他情況，輸出錯誤信息（這里只考慮了一種驗(yàn)證模式）；
5. 定位登陸按鈕并點(diǎn)擊，等待5s，回到1；
6. 獲取Cookies。

這里的難點(diǎn)在于滑動塊的處理，首先只要是用selenium必定會要求滑動塊檢測（至少我沒遇到不要的情況）；其次，淘寶肯定對拖動滑動塊是否由人類完成有一個非常嚴(yán)格的判斷，并且很可能會因?yàn)槭〉拇螖?shù)增加而變得更加嚴(yán)格，我這么說，是因?yàn)槲覜]有成功！

我在網(wǎng)上查到說這類滑塊的操作，會綜合考慮你拖動時(shí)鼠標(biāo)的走向、移動的停歇、總時(shí)間等等等等因素。我在網(wǎng)上找到一片文章寫了如何使用GhostMouse軟件錄制鼠標(biāo)操作：滑動驗(yàn)證碼破解。我錄制了能夠通過驗(yàn)證的鼠標(biāo)操作，之后根據(jù)這個操作記錄用Python計(jì)算出偏移量，從而讓爬蟲能模擬出我的驗(yàn)證操作。但這沒有成功，我后來甚至發(fā)現(xiàn)直接用GM的錄制回訪功能，同樣的操作第一次能成功，第二次也不能成功。等到后面測試多了之后，幾乎是100%失敗，即使人工操作都不行?，F(xiàn)在的效果大概是這樣：

taobao-登陸-結(jié)果.gif

除了最后不能成功之外，其他都沒問題。我仍然把代碼貼在這：

from selenium import webdriver  
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.common.action_chains import ActionChains
import time
import random

# 你的賬戶密碼
username = "username"
password = "password"

options = webdriver.ChromeOptions()
options.add_argument("--window-position=0,0")
options.add_argument("--window-size=1280,960")
#options.add_argument('--proxy-server=https://101.27.22.17:61234')
driver = webdriver.Chrome(chrome_options=options)
#driver.maximize_window()
#driver.delete_all_cookies()
driver.get("https://login.taobao.com/member/login.jhtml")  
driver.implicitly_wait(5)


def get_track_from_GM():
    file = open("human2.gms")
    # 這是滑塊的位置，需要自己調(diào)整
    x, y = 1176, 413
    res = []
    while True:
        line = file.readline().strip()

        if not line:
            break

        data = line.split(" ")
        pos = (int(data[0])-x, int(data[1])-y, random.randint(0,10)*0.01)
        res.append(pos)
        
    file.close()
    return res

def Login_by_Account():
    while True:
        url = driver.current_url
        if not url.startswith("https://login.taobao.com"):
            break

        # 填寫用戶名和密碼
        driver.find_element_by_id("TPL_username_1").clear()  
        driver.find_element_by_id("TPL_password_1").clear()  
        driver.find_element_by_id("TPL_username_1").send_keys(username)
        driver.find_element_by_id("TPL_password_1").send_keys(password)

        # 處理驗(yàn)證
        text = driver.find_element_by_id("nc_1__scale_text").text

        if not text or text == "驗(yàn)證通過":
            pass
        elif text.startswith("請按住滑塊"):
            slider = driver.find_element_by_id("nc_1_n1z")
            print (slider.location)

            action = ActionChains(driver)  
            action.click_and_hold(slider).perform()  
            action.reset_actions()  

            res = get_track_from_GM()

            for i in res:
                action.move_by_offset(i[0], i[1]).perform()
                action.reset_actions()
                time.sleep(i[2])

            action.release().perform()
            action.reset_actions()
        else:
            print ("[ERROR]文本內(nèi)容是:" + text)
            break

        # 點(diǎn)擊登陸按鈕
        driver.find_element_by_id("J_SubmitStatic").click()
        time.sleep(5)

    cookies = driver.get_cookies()

    res = ""
    for cookie in cookies:
        res += cookie.get('name')+'='+cookie.get('value')+';'

    res = res[:-1]
    print (res)

    driver.quit()
    
if __name__ == '__main__':
    Login_by_Account()

這里的human2.gms文件是GhostMouse錄制后保存的內(nèi)容，它的結(jié)構(gòu)很簡單：

...
1208 504 1 0
1211 504 1 0
1214 504 1 0
1216 504 1 0
1219 504 1 0
...

前兩個數(shù)字分別是坐標(biāo)軸的x和y值，像這類坐標(biāo)，都是以父窗口的左上角為原點(diǎn)，向右是x正向，向下是y正向。注意selenium提供的move API的參數(shù)是位移，需要自己計(jì)算；后兩個數(shù)字分別代表鼠標(biāo)的左鍵和右鍵，1表示按住，0表示沒有。

二維碼登錄

經(jīng)歷了很多次賬號密碼登陸的失敗后，我又想到了一個退而求其次的辦法：通過手機(jī)掃描二維碼登錄。邏輯會簡單點(diǎn)，但你需要人工用手機(jī)掃一下二維碼：

1. 打開網(wǎng)頁，定位到二維碼標(biāo)簽，點(diǎn)擊，讓登陸框載入二維碼。
2. 等待掃碼，同時(shí)判斷二維碼是否過期，過期則刷新二維碼。
3. 判斷URL是否跳轉(zhuǎn)，如果跳轉(zhuǎn)說明成功登陸，抓取Cookie。

代碼如下：

from selenium import webdriver  
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.common.action_chains import ActionChains
import time
import random

username = "username"
password = "password"

options = webdriver.ChromeOptions()
options.add_argument("--window-position=0,0")
options.add_argument("--window-size=1280,960")
#options.add_argument('--proxy-server=https://101.27.22.17:61234')
driver = webdriver.Chrome(chrome_options=options)
#driver.maximize_window()
#driver.delete_all_cookies()
driver.get("https://login.taobao.com/member/login.jhtml")  
driver.implicitly_wait(5)

def Login_by_qcode():
    qcode = driver.find_element_by_id("J_Static2Quick")

    action = ActionChains(driver)  
    action.reset_actions()
    action.move_to_element(qcode)
    action.move_by_offset(20, -20).click()
    action.perform()

    while True:
        url = driver.current_url

        if not url.startswith("https://login.taobao.com"):
            cookies = driver.get_cookies()
            res = ""
            for cookie in cookies:
                res += cookie.get('name')+'='+cookie.get('value')+';'

            res = res[:-1]
            print (res)
            break

        try:
            refresh = driver.find_element_by_class_name("J_QRCodeRefresh")
            refresh.click()
        except:
            pass

        time.sleep(6)

    driver.quit()

if __name__ == '__main__':
    Login_by_qcode()

打印出來的Cookie可以直接復(fù)制粘貼到上一篇文章中Cookie變量里面。執(zhí)行后，可以直接抓取到訂單信息：

進(jìn)度條

之前我提到過，程序抓取數(shù)據(jù)的時(shí)間其實(shí)不算短，這時(shí)候使用一個進(jìn)度條可以有效的緩解等待的緊張感，同時(shí)也可以知道程序仍在工作，沒有進(jìn)入死循環(huán)。

第一種

import time
total = 1000
for i in range(0, total, 7):
    print("{0:.2f}%".format(float(i/total)*100), end="\r")
    time.sleep(0.05)

第二種

progressbar2庫了解一下，果然大家都有相同的困擾。