Python爬蟲入門-爬取新浪新聞

運(yùn)行環(huán)境：Python3.6.0

所需的包：

from bs4 import BeautifulSoup
import requests

response = requests.get("http://news.sina.com.cn/china/")
response.encoding = "utf-8"
soup = BeautifulSoup(response.text, "lxml")
headers = soup.select("div.news-item > h2")
links = soup.select("div.news-item > h2 > a")
times = soup.select("div.time")

for header, link, time in zip(headers, links, times):
    with open("sina_news.txt", "a") as f:
        f.write(header.get_text() + "\n" +
                time.get_text() + "\n" +
                link.get("href") +
                "\n---------------------\n")

爬取結(jié)果：

Python爬蟲入門-爬取新浪新聞.JPG
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容