不知不覺中經(jīng)過了1年了，這一年很快，也給我?guī)砹撕芏噢D(zhuǎn)變，這一年很累，也給我?guī)砀嗟闹R(shí)。確實(shí)是很累呀，回想起每晚都在瞎搞搞，到兩三點(diǎn)精疲力盡的時(shí)候才去睡覺，不過收獲也是巨大的，特別我的肚子也在不知不覺由腹肌變成了小肚子0 0，這是我很悲傷的一個(gè)故事。

好了，不扯了，這也不是我的風(fēng)格，今天給大家來點(diǎn)干貨，用用 Node.js (以下簡(jiǎn)稱 Node)來寫一寫小爬蟲來爬一爬簡(jiǎn)書。
首先來接受一下 Node

有看我博客的人也知道我是做 IOS 開發(fā)的，但是為什么今天突然來寫 Node 呢？個(gè)人感覺吧，做什么開發(fā)也好， 會(huì)點(diǎn)后臺(tái)也不會(huì)吃虧，畢竟網(wǎng)絡(luò)層的東西，多了解一下總是好的。說不定以后自己要做個(gè)應(yīng)用什么的，起碼不會(huì)煩惱怎么做后臺(tái)吧。

那么寫爬蟲有什么好處呢，最起碼你寫的應(yīng)用需要的數(shù)據(jù)都能給你找回來吧，顯示個(gè)圖片什么的都是要數(shù)據(jù)的吧。那么用 Node 寫爬蟲的好處有什么呢，為什么要選擇 Node 呢？1.寫 Node 用的是 JavaScript，而 JavaScript 又是前端交互中經(jīng)常用到的，所以我們的學(xué)習(xí)開發(fā)成本會(huì)降低，一方面練習(xí)了 JavaScript 語法，另一方面又能開發(fā)后臺(tái)，一舉兩得； 2.Node 的效率就是它的優(yōu)點(diǎn)了，由于Node的網(wǎng)絡(luò)是異步的，所以基本如同幾百個(gè)進(jìn)程并發(fā)一樣強(qiáng)大，內(nèi)存和CPU占用非常小。

那么說了這么多，就是想告訴大家 Node 其實(shí)并沒有想象中那么差。好了，開始我們今天的代碼了

首先我們要下載 Node 這個(gè)家伙了，下載完后只要簡(jiǎn)單的幾步安裝步驟就可以了。
那么我們還需要一個(gè)編輯器，當(dāng)然你也可以使用系統(tǒng)有的文本編輯器，但是在這里我個(gè)人來說就選擇了 Atom 這款編輯器了，它一方面是高仿 sublineText ，只要熟悉 sublineText 的小伙伴就能很快上手了，另一方面是它的界面設(shè)計(jì)真心不錯(cuò)，很吸引我，而且下載第三方包的工具是自帶的 apm(atom package manage) 很不錯(cuò)。

以下是我們需要爬的 html 結(jié)構(gòu)了

html 結(jié)構(gòu)

很亂的說有木有，但是，相信大家，越難的東西才是我們應(yīng)該挑戰(zhàn)的嘛

1.創(chuàng)建 shujian.js 文件

2.引入我們需要的模塊

// 引入 node 的網(wǎng)絡(luò)模塊，這個(gè)模塊對(duì) node 來說很重要
var http = require('http');
// 引入 `cheerio` 這個(gè)模塊，gitHub 上有介紹，它就是一個(gè)服務(wù)端的 JQuery  庫
var cheerio = require('cheerio');
// 以下這個(gè) url 是我個(gè)人主頁的，請(qǐng)使用的小伙伴換一下自己的主頁喔
var url =   'http://www.itdecent.cn/users/53fb509bd05c/latest_articles';

3.進(jìn)行一次 get的請(qǐng)求并對(duì)返回的 html 字符串進(jìn)行解析

http.get(url, function(res){
// 用于拼接接受到的 html 字符串
var html = '';
// on 是 node 的一個(gè)監(jiān)聽事件
res.on('data', function(data) {
  html += data;
});

res.on('end', function() {
    // 解析 html 字符串的方法，返回文章數(shù)據(jù)的對(duì)象
     var articlesData = filterChapter(html);
    // 輸出這個(gè)對(duì)象的屬性
      printArticleInfo(articlesData);
  });
}).on('error', function(){
  console.log('個(gè)人主頁數(shù)據(jù)失敗');
});

4.解析 html 字符串的方法，返回文章數(shù)據(jù)的對(duì)象數(shù)組

function filterChapter(html) {
var $ = cheerio.load(html);
var articleList = $('.article-list').children('li');

// 創(chuàng)建一個(gè)空數(shù)組，用來裝載我們的文章對(duì)象
var articlesData = [];
articleList.each(function(item) {
  // 以下 JQ 的方法，相信會(huì)一點(diǎn) JQ 的人都能看懂啦，哈
  var article = $(this);
  var title = article.find('div').find('.title').find('a').text();
  var span =  article.find('div').find('div.list-footer').find('span');
  var loveCount = span.text();
  // .eq(i) 通過索引篩選匹配的元素。使用.eq(-i)就從最后一個(gè)元素向前數(shù)。
  var readCount = span.parent().find('a').eq(0).text();

 // 因?yàn)槲覀冎灰?喜歡的數(shù)量，并不想要這兩個(gè)字，所以用 JS 的方法把它去掉了，以下閱讀二字也是一樣的
  var loveNum = parseFloat(loveCount.substring(loveCount.search('喜歡') + '喜歡'.length)) ;
  var readNum = parseFloat(readCount.substring(readCount.search('閱讀') + '閱讀'.length));

 // 創(chuàng)建文章對(duì)象，JS 的對(duì)象確實(shí)跟 json 的很像呀
var articleData = {
    title : title, 
    love  : loveNum.toString(),
    readCount : readNum.toString()
};
  articlesData.push(articleData);
});
  return articlesData;
}

5.將這個(gè)文章數(shù)組內(nèi)的文章對(duì)象轉(zhuǎn)換成字符串輸出

function printArticleInfo(articlesData) {
console.log('止于浮水的簡(jiǎn)書 ：\n');
articlesData.forEach(function(item) {
  var title = item.title;
  var loveCount = item.love;
  var readCount = item.readCount;
  console.log('《' + title + '》' + ' \n ' + '閱讀數(shù)為: ' + readCount  +   '\n'  + '喜歡數(shù)為:'  + loveCount + '\n');
  });
}

好了，寫了以上代碼，現(xiàn)在需要跑一跑了，打開終端 輸入 node jianshu.js

以下就是我的輸出了

好了，到這里我們的 簡(jiǎn)書小爬蟲就完成了，根據(jù)這些方法，你可以去爬一些更多數(shù)據(jù)的網(wǎng)頁，甚至可以寫更多更多的爬蟲同時(shí)去爬取數(shù)據(jù)，讓你再創(chuàng)造 app 的時(shí)候不再懼怕沒有數(shù)據(jù)這塊了。當(dāng)然，這些數(shù)據(jù)需要一個(gè)數(shù)據(jù)庫，這就是我以后要告訴小伙伴們的事情了。

@end

心如止水，奮力前行