Selenium加快爬取加載速度,控制圖片加載,控制css加載,控制JavaScript動態(tài)加載

了解更多關注微信公眾號“木下學Python”吧~
原文:https://blog.csdn.net/zjkpy_5/article/details/83303391

1.加快Selenium爬取速度
控制css加載---
抓取過程僅僅抓取頁面內容,CSS樣式文件是用來控制頁面外觀和元素房子位置的,對內容并沒有影響,可以限制

        網頁加載CSS,從而減少抓取時間,代碼如下:

    from selenium import webdriver

    f = webdriver.FirefoxProfile()
    f.set_preference("permissions.default.stylesheet",2)

    driver = webdriver.Firefox(firefox_profile = f)
    driver.get('https://www.douban.com/')

控制圖片加載---
1)Firefox 如果不需要抓取圖片可以禁止圖片加載從而提高效率,代碼如下:

      from selenium import webdriver

      f = webdriver.FirefoxProfile()
      f.set_preference("permissions.default.image",2)

      driver = webdriver.Firefox(firefox_profile = f)
      driver.get('https://www.douban.com/')

2)Chrome 的限制圖片和JAVAscript

      import requests
      from selenium import webdriver

      options = webdriver.ChromeOptions()
      prefs = {
          'profile.default_content_setting_values': {
               'images': 2,
            'javascript': 2
            }
         }
      options.add_experimental_option('prefs', prefs)

      driver = webdriver.Chrome(chrome_options=options)
      driver.get('http://www.dianping.com/search/category/7/10/p1')
      driver.implicitly_wait(20)

控制JavaScript運行,如需要內容不是通過JavaScript動態(tài)加載得到的,可禁止加載從而提高效率代碼如下:
from selenium import webdriver

       f = webdriver.FirefoxProfile()
       f.set_preference("javascript.enabled",False)

       driver = webdriver.Firefox(firefox_profile = f)
       driver.get('https://www.douban.com/')

不加載圖片,加快訪問速度

options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內容

  • Selenium 官網Selenium WebDriver官網webdriver實用指南python版本 WebD...
    顧顧314閱讀 47,285評論 0 34
  • 轉自Selenium WebDriver注意:本章內容官方團隊正在完善中。 介紹 WebDriver### Sel...
    抓兔子的貓閱讀 7,901評論 2 22
  • 一.背景 1. Selenium Selenium 是一個用于web應用程序自動化測試的工具,直接運行在瀏覽器當中...
    LinminWang閱讀 490評論 0 1
  • 你,可能只是勤奮樂觀的青年農民。希望在下一次的秋天,收獲比上一次多一點的豐收。家里有好幾口人,可能經濟只能允許...
    斛北閱讀 246評論 0 0
  • 曼玉的文章寫的不錯,她愛讀書,并且有豐富的想象力。記得有一次,我在班上讀了一篇范文,是關于游泳的。恰巧第二天作文...
    21雪絨花閱讀 581評論 0 0

友情鏈接更多精彩內容