使用python3 requests和bs4進行爬蟲（二）爬取文章

為了做到更優(yōu)雅，這次拋棄了urllib庫的引用，使用requests和beautifulsoup搭配的方式進行

首先構建一個請求并且響應它


構建請求

然后呢到簡書上找一篇文章試試手，看一下網頁源碼找到文章的div


找到標題

以及找到文章內容，仔細看看內容還挺不錯哈哈


內容

可以發(fā)現(xiàn)所有的內容都在p標簽里面，那么接下來就簡單多了只需要


f5運行一下

最后使用codecs庫來進行文件操作將文章保存到本地


沒錯使用上requests和bs4之后爬取文章的工作是那么的輕松呢


效果圖

最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發(fā)布，文章內容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內容

友情鏈接更多精彩內容