使用js2py.eval_js()獲得<script></script>中的某一個變量的值，并轉換為python中的字典

url = 'https://m.weibo.cn/status/H579C8s81?ref=feedsdk&type=comment&jumpfrom=weibocom'

html = requests.get(url).text

soup = BeautifulSoup(html,'lxml')

js_code = soup.find_all("script")[1].text

打印js_code后發(fā)現，想要的值在變量render_data中，由于js_code中有好幾個變量，所以要考慮怎么取到render_data

方法是：將要取的變量名"$render_data"拼接到js_code后面，這樣就可以通過js2py.eval_js()方法直接取出來了。

new_js_code = js_code +'$render_data'

res = js2py.eval_js(new_js_code)

res = res.to_dict()

最后，得到的就是一個字典了。

在這里遇見了坑，訪問不同的網站可能會有類似的報錯：ReferenceError: document is not defined

原因就在js中，需要自己加上沒有定義的變量。

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發(fā)布，文章內容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內容

友情鏈接更多精彩內容