WebScraper
爬蟲
更新:實(shí)際運(yùn)用篇被鎖了,想了解實(shí)際運(yùn)用的可以看我主頁的介紹,有渠道可以去查看。
爬蟲初解
采集信息用的程序一般被稱為網(wǎng)絡(luò)爬蟲(web crawler)、網(wǎng)絡(luò)鏟(web scraper),其行為模式一般就是先找到所需的網(wǎng)頁,然后將需要的信息挖出來。所以一般我們會(huì)看到關(guān)于網(wǎng)絡(luò)爬蟲的圖片就是蜘蛛或者穿山甲之類的,畢竟是很形象的嘛。
然而,在很多時(shí)候,網(wǎng)絡(luò)爬蟲都需要我們學(xué)會(huì)編程,主流的Java、Python等就有很多模塊可以實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲,但是很多人是不樂意或者說是沒有持續(xù)性學(xué)習(xí)的動(dòng)力。
所以,現(xiàn)在我要介紹一款插件(沒錯(cuò),就是web sraper),讓你免除網(wǎng)絡(luò)爬蟲的煩惱,快速上手獲取網(wǎng)絡(luò)數(shù)據(jù),然后去做你想做的事情。(特此聲明:畢竟是插件性質(zhì),所以條件有限,爬取網(wǎng)站文字或圖片鏈接類的信息還是可以的,但是要想直接爬取excel表或者文件類的,那就只能請(qǐng)您去老實(shí)學(xué)習(xí)代碼了。)
現(xiàn)在,就讓我們直接進(jìn)入主題吧。
WebScraper初解
安裝Web Scraper插件
在Chrome瀏覽器和FireFox瀏覽器的應(yīng)用商店中直接搜索Web Scraper安裝插件就可以了,很直接吧,一點(diǎn)都不需要費(fèi)腦子。
安裝好之后,windows是直接F12打開開發(fā)人工具并在里面找到webscraper欄。Mac用戶則是cmd+opt+I打開開發(fā)人工具。看到webscraper的工具按鈕就是成功了(基本上沒有出錯(cuò)的案例)。
然后就是官方文檔了,這個(gè)就是應(yīng)用一切的來源了。雖說是英文版的,但是國(guó)內(nèi)好歹也有分享精神,有人將其翻譯了,于是便有了中文文檔。在文檔里面,可以了解整個(gè)插件的基本方式,但是對(duì)于部分用戶來說,看文檔是件讓人很難受的事情。所以,在此,我就直接以案例來介紹吧。
就從經(jīng)常被爬的豆瓣來介紹吧。