码迷,mamicode.com
首页 > Web开发 > 详细

Node.js 爬虫,自动化抓取文章标题和正文

时间:2014-11-07 18:27:04      阅读:218      评论:0      收藏:0      [点我收藏+]

标签:style   http   color   ar   os   使用   sp   数据   bs   

持续进行中。。。

目标:

  • 动态User-Agent模拟浏览器
  • 支持Proxy设置,避免被服务器端拒绝 
  • 支持多核模式,发挥多核CPU性能
  • 支持核内并发模式
  • 自动解码非英文站点,避免乱码出现
  • 自动队列管理,持续化PUSH
  • 自动抓取文章标题和正文 
  • 性能优化
  • 测试用例,自动化测试

我的测试环境:

  • 9 台安装 ElasticSearch 1.3.2 的 centos,48G内存,8核
  • 3 台 Node.js v0.11.14 的 centos,16G内存,8核,用作爬虫
  • 3 台 NSQD 服务器, 用作爬虫解耦后的数据订阅和发送,与爬虫共用, 其中 1 台部署 NSQ Lookupd
  • 国内主要门户的站点管理,使用Kue,链接,正文之间的传递采用NSQ

结果:

  • 日均数据 50W 左右

 

开源地址:https://github.com/Tjatse/spider2

 

Node.js 爬虫,自动化抓取文章标题和正文

标签:style   http   color   ar   os   使用   sp   数据   bs   

原文地址:http://www.cnblogs.com/fromearth/p/4081696.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!