之前想試著爬取微博上一個(gè)人的微博相冊(cè)里面的圖片。
在“相冊(cè)”頁(yè)面,是不會(huì)一下子展示出所有的圖片的,需要手動(dòng)下拉到最下方才會(huì)加載日期更早的圖片。
每次在加載更早的日期的時(shí)候,會(huì)傳一個(gè)sinceId的參數(shù),如果了解這個(gè)參數(shù)生成的規(guī)則,似乎爬起來(lái)就比較簡(jiǎn)單了,但是沒(méi)有想到。
后來(lái)不小心點(diǎn)到了保存網(wǎng)頁(yè),下載的過(guò)程時(shí)間還不短,于是點(diǎn)開(kāi)了下載的網(wǎng)頁(yè)看了下,可以看到是有圖片的。
點(diǎn)開(kāi)保存的網(wǎng)頁(yè)的文件夾,可以看到里面是將所有圖片的縮略圖下載了下來(lái),其中就包含所有的微博相冊(cè)圖片。
于是就獲得了相冊(cè)中所有原圖的文件名字,將這些圖片全部讀入內(nèi)存后(縮略圖很?。?,再根據(jù)文件名字去請(qǐng)求對(duì)應(yīng)的原圖就好了。