爬取網(wǎng)址：http://www.itdecent.cn/trending/weekly
爬取信息：文章名、作者ID、發(fā)布日期、指數(shù)、閱讀、評(píng)論、喜歡、贊賞數(shù)量、收錄專題
爬取方式：在詳細(xì)頁面中進(jìn)行解析。
存儲(chǔ)方式：打印出來
image.png
image.png
①瀏覽下拉網(wǎng)頁，發(fā)現(xiàn)網(wǎng)頁使用了Ajax技術(shù)進(jìn)行分頁。經(jīng)過測(cè)試，可使用以下URL來獲取正確內(nèi)容
http://www.itdecent.cn/trending/weekly?page=4，修改數(shù)字4即可構(gòu)造出URL。page范圍為1-10頁。
image.png
②本次爬蟲在詳細(xì)頁面中進(jìn)行，文章名、作者ID、發(fā)布日期、指數(shù)、閱讀、評(píng)論、喜歡、贊賞數(shù)量可簡(jiǎn)單獲取。
贊賞數(shù)量和收錄專題使用了Ajax異步加載，但是相關(guān)網(wǎng)址都已經(jīng)被鎖定。
image.png
image.png
此處與書不同，先放著吧，繼續(xù)往下學(xué)習(xí)。
