爬蟲(五)(splinter)動(dòng)態(tài)內(nèi)容

Splinter對(duì)已有的自動(dòng)化工具(如:Selenium、PhantomJS和zope.testbrowser)進(jìn)行抽象,形成一個(gè)全新的上層應(yīng)用API,它使為Web應(yīng)用編寫自動(dòng)化測(cè)試腳本變的更容易。

最早的時(shí)候大家都會(huì)使用 Phantomjs 來實(shí)現(xiàn)headless,但是多多少少會(huì)有一些不足的地方?,F(xiàn)在 Chrome 和 Firefox 都已經(jīng)提供了相應(yīng)的 headless 模式,而且 Splinter 也已經(jīng)集成。

http://blog.csdn.net/qq_24338883/article/details/52462699
https://zhuanlan.zhihu.com/p/30208753
http://splinter-docs-zh-cn.readthedocs.io/zh/latest/

步驟:

  1. 裝依賴 pip install splinter
  2. 把 chrome / firefox 驅(qū)動(dòng)加 path
import platform
import os
from time import sleep
from splinter import Browser

def add_chrome_webdriver():
    print(platform.system())
    working_path = os.getcwd()
    library = 'library'
    path = os.path.join(working_path, library)
    os.environ['PATH'] += '{}{}{}'.format(os.pathsep, path, os.pathsep)
    print(os.environ['PATH'])

Browser是整個(gè)測(cè)試的基礎(chǔ),你可以把它理解為一個(gè)瀏覽器。
將驅(qū)動(dòng)加入到環(huán)境變量:①可以手動(dòng)加入,②可以通過上面函數(shù)加入,③還可以直接將驅(qū)動(dòng)復(fù)制到已有 PATH 下(比如 python)。firefox 和 chrome 各有自己的驅(qū)動(dòng)

圖片.png
圖片.png

os.getcwd() :當(dāng)前執(zhí)行文件的容器目錄,感覺和 os.path 的值一樣
os.pathsep : ;

圖片.png
def find_website():
    with Browser() as browser:
        # Visit URL
        url = "http://www.baidu.com"
        browser.visit(url)

        input = browser.find_by_css('#kw')
        input.fill('知乎')

        # Find and click the 'search' button
        button = browser.find_by_css('#su')
        # Interact with elements
        button.click()

        if browser.is_text_present('發(fā)現(xiàn)更大的世界'):
            print("Yes, the official website was found!")
        else:
            print("No, it wasn't found... We need to improve our SEO techniques")

with Browser('chrome', headless=True) as browser:
driver_name='chrome':指定瀏覽器,默認(rèn)是 firefox
headless=True : 無頭模式,不然會(huì)打開圖形界面,在服務(wù)器部署時(shí)一定要加入

  • with 打開瀏覽器,不用手動(dòng)關(guān)閉,創(chuàng)建實(shí)例
  • visit() :指定 url ,可訪問任意指定的站點(diǎn)
  • find_by_css() :方法能夠進(jìn)行 css 選擇,找到輸入框;
  • fill() :方法能夠自動(dòng)輸入相關(guān)內(nèi)容
    • 前兩步合并:xx.fill("wd", "dataman")即可在搜索欄搜索dataman。
    • browser.fill('wd', 'splinter - python acceptance testing for web applications')
    • 也就是使用"dataman"填充頁面中‘name’是‘wd’的元素
  • find_by_css() :找到點(diǎn)擊按鈕
  • click():觸發(fā)點(diǎn)擊事件
  • is_text_present() :檢查頁面上是否存在某個(gè)值
def main():
    add_chrome_webdriver()
    find_website()

if __name__ == '__main__':
    main()









圖片.png

圖片.png
圖片.png
#-*- coding:utf-8 -*-
#京東搶手機(jī)腳本
from splinter.browser import Browser
import time

#登錄頁
def login(b):  #登錄京東
    b.click_link_by_text("你好,請(qǐng)登錄")
    time.sleep(3)
    b.fill("loginname","account*****")  #填寫賬戶密碼
    b.fill("nloginpwd","passport*****")
    b.find_by_id("loginsubmit").click()
    time.sleep(3)
    return b

#訂單頁
def loop(b):  #循環(huán)點(diǎn)擊
    try:
        if b.title=="訂單結(jié)算頁 -京東商城":
            b.find_by_text("保存收貨人信息").click()
            b.find_by_text("保存支付及配送方式").click()
            b.find_by_id("order-submit").click()
            return b
        else:  #多次搶購操作后,有可能會(huì)被轉(zhuǎn)到京東首頁,所以要再打開手機(jī)主頁
            b.visit("http://item.jd.com/2707976.html")
            b.find_by_id("choose-btn-qiang").click()
            time.sleep(10)
            loop(b)  #遞歸操作
    except Exception as e: #異常情況處理,以免中斷程序
        b.reload()  #重新刷新當(dāng)前頁面,此頁面為訂單提交頁
        time.sleep(2)
        loop(b)  #重新調(diào)用自己


b=Browser(driver_name="chrome") #打開瀏覽器
b.visit("http://item.jd.com/2707976.html")
login(b)
b.find_by_id("choose-btn-qiang").click() #找到搶購按鈕,點(diǎn)擊
time.sleep(10)  #等待10sec
while True:
    loop(b)
    if b.is_element_present_by_id("tryBtn"): #訂單提交后顯示“再次搶購”的話
        b.find_by_id("tryBtn").click()  #點(diǎn)擊再次搶購,進(jìn)入讀秒5,跳轉(zhuǎn)訂單頁
        time.sleep(6.5)
    elif b.title=="訂單結(jié)算頁 -京東商城": #如果還在訂單結(jié)算頁
        b.find_by_id("order-submit").click() 
    else:
        print('恭喜你,搶購成功')
        break
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容