1.爬了網(wǎng)易科技的最新快訊，發(fā)現(xiàn)出來的全是亂碼。

1.png

2.看了源代碼，發(fā)現(xiàn)網(wǎng)頁字符格式是GBK

2.png

3.于是百度，發(fā)現(xiàn)要用到庫npm install iconv-lite

4.發(fā)現(xiàn)了一個大神寫的node庫npm install gbk

3.png

看了index.js發(fā)現(xiàn)先要有個iconv-lite庫

4.png

跑了一遍他git上的example，發(fā)現(xiàn)報錯。。。。

看到issue中也有人提出相關(guān)問題

5.png

很幸運，作者四天前剛剛解決了他的問題。

6.png

直接復制他修改后的page.js替換自己node_modules/gbk/libs/page.js的代碼
就可以運行啦?。?！

5.然后當然是直接引入到我的代碼里。。。

7.png

6.運行結(jié)果

8.png

9.png

7.最后貼出全部代碼

var http = require('http');
var cheerio = require('cheerio');
var url = 'http://tech.163.com';
var fs =require('fs');
var iconv = require('iconv-lite');
var gbk = require('gbk');
var i=1;
var section_add=null;


http.get(url, function(res){
    //轉(zhuǎn)換gbk字符格式的網(wǎng)頁
    gbk.fetch(url).to('string', function(err, string){
        if (err) 
            return console.log(err);
        var chapter=crawlerChapter(string);
        printInfo(chapter);
    });
    // var html = '';
    // res.on('data', function(data){
    //     html+= data;
    //     console.log(html);
    // });
    
}).on('error', function(){
    console.log('爬取頁面錯誤');
});


function crawlerChapter(html) {
    var $ = cheerio.load(html);
    var chapters = $('.newest-lists');//css選擇器
    var data = [];
    chapters.map(function (node) {
        var chapters = $(this);
        var chapterTitle = chapters.find('.list_item').text().trim();//選擇器
        var sections = chapters.find('.nl-title');//選擇器
        var chapterData = {
            chapterTitle: chapterTitle,
            section: []
        };
        sections.map(function (node) {
            var section = $(this).text().trim();
            chapterData.section.push(section);
        });
        data.push(chapterData);
    });
    return data;
}


function printInfo(data) {
    data = data.filter(function filterByID(obj) {
        return obj.chapterTitle ? true : false;
    });
    data.map(function (item) {
        var chapterTitle = item.chapterTitle;
        //console.log('【' + chapterTitle + '】\n');未處理的文字

        item.section.map(function (section) {
            console.log('   【' + section + '】\n');//換行后的文字
            
            section_add+=section+'\n';
           
            
            // ------------------將文字存入文件-----------
            fs.writeFile('./wangyi.txt',section_add,function(err){
                if(err) throw err;
                console.log("file save!"+i);
                i= i+1;
            });
            // ------------------將文字存入文件-----------
        

        });
    });
}