在CentOS7上使用chrome(selenium)

大家在用Python做爬蟲的時(shí)候,會(huì)經(jīng)常用到phantomjs。
但是我們一般都是用chrome/firefox查看效果,再轉(zhuǎn)成phantomjs。
一方面這樣比較費(fèi)時(shí)間,另一方面phantomjs不太穩(wěn)定,而且官方已經(jīng)停止維護(hù)了。
所以趕緊投身大Google的懷抱吧!


如果用 yum install google-chrome -y 不能裝上的話就嘗試下載安裝

下載chrome
wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm

可能會(huì)遇到網(wǎng)路問題,你可以先下載到本地再上傳

安裝chrome
yum install ./google-chrome-stable_current_x86_64.rpm
配置chromedriver

注意chromedriver的版本,要與你安裝的chrome版本對(duì)應(yīng)上,這里的版本已經(jīng)不是最新的。
版本列表:http://chromedriver.chromium.org/downloads

下載chromedriver_linux64.zip

wget https://chromedriver.storage.googleapis.com/2.38/chromedriver_linux64.zip

解壓chromedriver_linux64.zip

unzip chromedriver_linux64.zip

為chromedriver授權(quán)

chmod 755 chromedriver
Python代碼測(cè)試
from selenium import webdriver

def spider(url='http://bing.com'):
    option = webdriver.ChromeOptions()
    option.add_argument('--no-sandbox')  
    option.add_argument('--headless')  
    # 注意path
    driver = webdriver.Chrome(executable_path='../chromedriver', chrome_options=option)
    driver.get(url)
    print(driver.page_source)
spider()

這個(gè)命令禁止沙箱模式,否則肯能會(huì)報(bào)錯(cuò)遇到chrome異常。

option.add_argument('--no-sandbox') 
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • Install Google Chrome 幾個(gè)月前發(fā)布的Chrome 59 beta推出了headless模式。...
    Shuangquan閱讀 8,715評(píng)論 1 5
  • Selenium的Webdriver爬取動(dòng)態(tài)網(wǎng)頁(yè)效果雖然不錯(cuò),但效率方面并不如人意。最近一直研究如何提高動(dòng)態(tài)頁(yè)面爬...
    Rabin_xie閱讀 8,812評(píng)論 10 43
  • 說到python爬蟲,剛開始主要用urllib庫(kù),雖然接口比較繁瑣,但也能實(shí)現(xiàn)基本功能。等見識(shí)了requests庫(kù)...
    Rabin_xie閱讀 52,496評(píng)論 34 101
  • 我發(fā)現(xiàn)自己在“運(yùn)動(dòng)”這件事上,絕對(duì)是惰性大于毅力的。 好在,由于自己對(duì)運(yùn)動(dòng)的益處實(shí)在是爛熟于心,深入骨髓,所以無(wú)論...
    毛歌閱讀 746評(píng)論 0 0
  • 這兩天負(fù)面情緒爆棚,好像事情總是無(wú)法往好的方向發(fā)展,一點(diǎn)也不順利,煩人的事情太多了,今天就來(lái)簡(jiǎn)書倒垃圾吧。 ...
    親愛的小魚老師閱讀 460評(píng)論 0 4

友情鏈接更多精彩內(nèi)容