1. 開始

研究了好久，終于發(fā)現(xiàn)了如何做，不過無法異步完成，只能用 Supervisor 開多進程去做了。

2.使用 selenium 渲染JS

首先我必須放出參考文章

• https://blog.csdn.net/hy_696/article/details/80101803
• https://blog.csdn.net/qq_23926575/article/details/72571637
• https://zhuanlan.zhihu.com/p/97785241
• https://blog.csdn.net/qew110123/article/details/87708659
• https://zhang0peter.com/2018/10/29/selenium/
• https://blog.csdn.net/weixin_43968923/article/details/87899762
• Selenium 官網(wǎng)

實在參考太多了，不能一步步來了。
嘗試過很多種 JS渲染 的方式，最后還是選擇了 selenium ，然后后來為了安裝那個 chromedriver 也花費了很大力氣，現(xiàn)在叫我重來一遍我也真忘了怎么做了。
以下是單一請求的代碼：

# 測試新方法
from selenium import webdriver 
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup
import time

# 各種設(shè)置及配置，可參考上述鏈接
options= Options()
options.add_argument('--no-sandbox')
options.add_argument('--disable-gpu')
options.add_argument('--hide-scrollbars') 
options.add_argument('blink-settings=imagesEnabled=false') 
options.add_argument('--headless') 
options.add_argument('--incognito')
options.add_argument('--ignore-certificate-errors')
options.add_argument('--disable-software-rasterizer')
options.add_argument('--disable-extensions')
options.add_argument('--user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36"')
options.add_argument('--window-size=1280x1024')
options.add_argument('--start-maximized')
options.add_argument('--disable-infobars')
# options.add_argument("–proxy-server=http://ip:端口")

# ChromeDriver 也是一個坑，安裝也是參照上述某個鏈接
browser = webdriver.Chrome('/usr/bin/chromedriver',chrome_options = options)
# 可以參照官網(wǎng) API 
browser.set_page_load_timeout(20)
browser.set_script_timeout(20)
browser.implicitly_wait(20) 
browser.get('https://weibo.com/1239160407/GcSidx58Y')
# 等待JS運行完及各種跳轉(zhuǎn)
time.sleep(10)
html=browser.page_source
# 必須退出，不然瀏覽器進程會駐留
browser.close()
browser.quit()
soup = BeautifulSoup(html, 'lxml')
import re
# 爬微博必須 div 爬
data = soup.select('div')
for item in data:
    result =  item.get_text()
    strOut=''
    strOut=re.sub('\n+', '\n', result)
    if len(strOut)>10 :
        print(strOut)

3. 后續(xù)工作

• 為交互界面頁增加刪減含某些關(guān)鍵字的內(nèi)容。
• 增加展示數(shù)據(jù)庫數(shù)據(jù)量的頁面
• 有可能寫專題爬蟲，如微博或者其他