node爬虫解决网页编码为gb2312结果为乱码的方法

 1 var http = require("http");
 2 var fs = require("fs");
 3 var cheerio = require("cheerio");
 4 var charset = require("superagent-charset");
 5 var agent = require("superagent");
 6 charset(agent); // 
 7 
 8 var obj = {};
 9 
10 var page = 1;   // 开始页码
11 var MAXPAGE = 38;   // 结束页码
12 
13 var num = 0;    // 记录条数
14 
15 var url = "http://www.cqfire.com/xxzx/news.asp?class1=%D0%C2%CE%C5%D6%D0%D0%C4&class2=%CA%D0%C4%DA%D0%C2%CE%C5";
16 
17 startRequest(url + "&PageNo=" + page, 0);
18 function startRequest(site, flag){
19     var html = ‘‘;
20     var resStr = ‘‘;
21     agent.get(site).charset(‘gbk‘).end((err, res) => {
22         html = res.text;
23         var $ = cheerio.load(html);  // 采用cheerio模块解析html
24 
25         if(flag == 0){
26             // 如果flag为0，表示列表页面，需要对页面进行解析
27             var eles = $("a").not(".nav_menu").not(".left_menu_class").not(".copy_menu");
28             for(var i = 0 ; i < eles.length; i ++){
29                 // 将提取出a中的url传入flag为1的本方法中
30                 var target = "http://www.cqfire.com/" + eles.eq(i).attr("href");
31                 startRequest(target, 1);
32             }
33 
34             if(page < MAXPAGE){
35                 // 如果未达到最大页数，则进行下一页，传入flag为0
36                 page ++;
37                 console.log(url + "&PageNo=" + page);
38                 startRequest(url + "&PageNo=" + page, 0);
39             }
40         }else{
41             // 如果flag为1，则表示为具体新闻页面，需要对标题和来源进行提取
42             // 获取新闻标题
43             var title = $("span.STYLE2").text().trim();
44             // 获取新闻来源
45             var origin = $("span.STYLE2").parent().parent().parent().parent().parent().next().find("td[align=‘middle‘]").text().trim();
46             var from = origin.split(" ")[0].split("：")[1];
47 
48             num++;  // num表示当前新闻的条数
49             console.log(num +"-->"+title);
50 
51             // 将来源为key，统计个数为value存入结果对象中
52             if(!obj[from]){
53                 obj[from] = 0;
54             }
55             obj[from] += 1;
56 
57             for(var key in obj){
58                 resStr += key + ‘\t‘ + obj[key] + ‘\n‘;
59             }
60             // 将结果以字符串的形式存入txt中，这里要使用同步方法，否则输出会出现很多null，但是txt文档中统计结果与同步方法一致，这里不解
61             fs.writeFileSync(‘./data/result.txt‘, resStr, ‘utf-8‘, function (err) {
62                 console.log(err);
63             })
64         }
65 
66     })
67 
68 }