标签：style blog http io ar os 使用 sp java
java 网络爬虫框架：
apache Nutch ,Heritrix等，主要参照开源社区提供的40个开源项目
文章背景：
最近要写个爬虫抓去新浪微博的数据，然后用hadoop存储后，进行分析，就在网上搜取相关资料。
网友推荐使用python来做，但鉴于本人擅长的是java，学习python需要一定的时间成本，还是选择java.一开始想自己从头写，搜到apache httpClient, 后来想着还是用开源成熟的框架来做，目前觉得apache Nutch 和Heritrix是个不错的选择，不过我还没开始实验，所以文章待续。。。
相关链接：
其他博客：
标签：style blog http io ar os 使用 sp java
原文地址：http://blog.csdn.net/jiangkai528/article/details/41679051
