码迷,mamicode.com
首页 > 其他好文 > 详细

node写简单的爬虫(二)

时间:2018-02-10 17:02:57      阅读:108      评论:0      收藏:0      [点我收藏+]

标签:文件   gpo   function   ror   log   保存   bin   err   cti   

上次我们已经成功的爬取了网站上的图片,现在我们把爬取的图片存储到本地

http.get(url, function (res) {
        var imageData =‘‘;
        res.setEncoding("binary");
        res.on(‘data‘,function(data){  //图片加载到内存变量
            imageData += data;
        }).on(‘end‘,function(){        //图片加载完
            var $=cheerio.load(imageData);
            $Imgs = $(‘img‘),
            $Imgs.each((iten,i)=>{
            console.log($(i).attr(‘src‘)+"------");
            var urlimg=$(i).attr(‘src‘);
            var filename= path.basename(urlimg);;
            downloadImg(urlimg,filename)
           })   
        });
    });

  function downloadImg(url, filename) {
    request(url).on(‘error‘,function(){
        console.log(‘done no‘);
    }).pipe(fs.createWriteStream(‘images/‘ + filename));//保存图片到文件夹
}

 

node写简单的爬虫(二)

标签:文件   gpo   function   ror   log   保存   bin   err   cti   

原文地址:https://www.cnblogs.com/aSnow/p/8438945.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!