node.js手把手學習抓取數(shù)據(jù)

? 帶噶猴,為大家?guī)韓ode抓取數(shù)據(jù)(小白練習)?。。?/p>

? 在開始之前呢先檢查自己是否安裝了node,指令:node? -v(ps:應該都會)

????新建index.js文件 然后引入依賴

? ??var?express?=?require('express');

????var?superagent?=?require('superagent');

????var?cheerio?=?require('cheerio');

????var?request?=?require('request')?

????接下來就開始寫一下請求

app.get('/',?function?(req,?res,?next)?{

????superagent.get('你要輸入的網(wǎng)址')

????????.end(function?(err,?sres)?{

????????????if?(err)?{

????????????????return?next(err);

????????????}

? ? ? ? ? ? sres.text?里面存儲著網(wǎng)頁的?html?內(nèi)容,將它傳給?cheerio.load?之后

? ? ? ? ? ? 就可以得到一個實現(xiàn)了?jquery?接口的變量,我們習慣性地將它命名為?`$`

? ? ? ? ? ? 剩下就都是?jquery?的內(nèi)容了

????????????var?$?=?cheerio.load(sres.text);

????????????var?imgs?=?[];

????????????var?content?=?'';

????????????$('.pic').each(function?(index,?element)?{

????????????????let?temp?=?{

????????????????????'標題':?$(element).find('span').text()

????????????????}

????????????????content?+=?JSON.stringify(temp)?+?'\n';

????????????????console.log(content);

? ? ? ? ? ? ? ? 下面也是一樣查看頁面elemen結(jié)構(gòu)

????????????????if($(element).find('img').length?>?0){

????????????????????imgs.push($(element).find('img').attr('src'));

????????????????????console.log(imgs)

????????????????}

????????????});

????????????res.send(imgs);? //到locahost://3000查看

????????});

});

app.listen(3000,?function?()?{

????console.log('app?is?listenling?at?port?3000');

});

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 一、Demo介紹 在每周一次的公司內(nèi)部分享上,我分享了關(guān)于node的一個爬蟲的Demo。通過這個Demo,分享了關(guān)...
    RayLightUp閱讀 1,284評論 1 7
  • 原本是打算要抓取豆瓣的電影排行榜的,在測試過程中,由于沒有設(shè)置訪問時間間隔,造成了短時間大量訪問豆瓣,被暫時ip限...
    marching_4cc8閱讀 927評論 0 1
  • 二. 模塊化 Node.js所有的API都是基于模塊發(fā)布和使用的,因此在真正的學習Node.js之前,我們需要先了...
    小五同學H閱讀 457評論 0 0
  • Node.js Node.js 就是運行在服務(wù)端的 JavaScript。 Node.js 是一個基于Chrome...
    Gukson666閱讀 711評論 0 1
  • 使用node抓取某個頁面的所以新聞鏈接及相關(guān)文章鏈接里面的具體內(nèi)容 var eventproxy=require(...
    Luo_2a25閱讀 369評論 0 0

友情鏈接更多精彩內(nèi)容