码迷,mamicode.com
首页 > Web开发 > 详细

nodejs 爬虫模板 map&array 数据模型

时间:2018-02-08 13:34:33      阅读:232      评论:0      收藏:0      [点我收藏+]

标签:pre   map   ons   att   www   end   callback   load   .text   

app.get(‘/knowledge‘, function (req, res, next) {
    var listUid = req.query.listUid;
    var url = "http://www.lengdou.net/page/" + listUid + "/";
    // console.log(‘--------开始检测--------‘);
    var content = {};
    var map = new Array();
    superagent
        .get(url)
        .end(function (err, sres) { // callback
            // 常规的错误处理
       if (err) {
                res.send(‘{\"code\":\"300\",\"msg\":\"读取出错!!\"}‘);
            }
            try {
                var $ = cheerio.load(sres.text);
                var lists = $(".list").each(function (index, element) {
                    var text = $(this).find(".list-content").find("p").text();
                    var url = $(this).find(".list-content").find("img").attr("src");
                    console.log(text + url + "\n");
                    var content = {};
                    content[‘text‘] = text;
                    content[‘url‘] = url;
                    map[index] = content;
                });
                res.send(JSON.stringify(map));
            } catch (e) {
            }
        });
});

 

nodejs 爬虫模板 map&array 数据模型

标签:pre   map   ons   att   www   end   callback   load   .text   

原文地址:https://www.cnblogs.com/yysbolg/p/8430965.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!