JAVA爬虫WebCollector教程列表
入门教程：
WebCollector入门教程（中文版）
用WebCollector对指定URL进行爬取和解析
JAVA爬虫Nutch、WebCollector的正则约束
实例：
用WebCollector制作一个爬取《知乎》并进行问题精准抽取的爬虫（JAVA）
内核：
利用WebCollector爬虫...
分类：
编程语言 时间：
2014-08-28 14:52:39
阅读次数：
453
每种爬虫的正则约束系统都有一些区别，这里拿Nutch、WebCollector两家爬虫的正则系统做对比。爬虫爬取时，需要约束爬取的范围。基本所有的爬虫都是通过正则表达式来完成这个约束................
分类：
编程语言 时间：
2014-08-28 13:18:59
阅读次数：
569
bloomFilter是70年代提出来的一个利用时间，错误率来换取空间的应用。应用在大数据量的情况下，比如爬虫抓取的大量url，用来判断哪些url是已经爬取过的。m =>使用的散列长度，这个值通常用来创建BitSet的长度，java.util.BitSetn =>待散列的字符串的个数。k =>使用的...
分类：
其他好文 时间：
2014-08-28 12:52:49
阅读次数：
159
关于nutch的基础知识能够參考lemo的专栏nutch支持二次开发，为了满足搜索的准确率的问题，考虑只将网页正文的内容提取出来作为索引的内容，相应的是parse_text的数据。我使用的事nutch1.4 版本号，在cygwin下运行crawl命令进行爬取。bin/nutch crawl urls...
分类：
其他好文 时间：
2014-08-22 12:34:26
阅读次数：
193
http://www.cnblogs.com/xiaoMzjm/p/3899366.html【背景】 在上一篇博文java爬取网页内容 简单例子（1）——使用正则表达式里面，介绍了如何使用正则表达式去解析网页的内容，虽然该正则表达式比较通用，但繁琐，代码量多，现实中想要想出一条简单的正则表达式 对....
分类：
编程语言 时间：
2014-08-22 12:12:16
阅读次数：
289
之前写过一个用python实现的百度新歌榜、热歌榜下载器的博文，实现了百度新歌、热门歌曲的爬取与下载。但那个采用的是单线程，网络状况一般的情况下，扫描前100首歌的时间大概得到40来秒。而且用Pyqt做的界面，在下载的过程中进行窗口操作，会出现UI阻塞的现象。前两天有时间调整了一下，做了几方面的改进...
分类：
编程语言 时间：
2014-08-20 22:18:52
阅读次数：
491
爬取淘宝图片并用caffe训练http://blog.csdn.net/lingerlanlan/article/details/31773811http://blog.csdn.net/lingerlanlan/article/details/32329761http://blog.csdn.ne...
分类：
其他好文 时间：
2014-08-20 09:16:06
阅读次数：
209
python爬虫，web spider。爬取网站获取网页数据，并进行分析提取。 ????基本模块使用的是 urllib，urllib2，re，等模块 （一）基本用法，例子 ????（1）进行基本GET请求，获取网页html #!coding...
分类：
编程语言 时间：
2014-08-20 00:10:25
阅读次数：
376
摘要: 我的技术博客经常被流氓网站恶意爬取转载。请移步原文：http://www.cnblogs.com/hamhog/p/3907146.html，享受整齐的排版、有效的链接、正确的代码缩进、更好的阅读体验。关于android:layout_weight到底是什么含义，在网上“越大所占比例越大”和...
分类：
移动开发 时间：
2014-08-12 16:14:14
阅读次数：
259
本篇主要通过利用nutch爬取的页面，并将索引写入solr服务器中，结合solrj的api编写界面化的搜索界面，包括高亮和搜索的规则和关键字的设置，点击搜索实现指定规则或是关键字的搜索并呈现搜索结果。
分类：
其他好文 时间：
2014-08-10 12:54:40
阅读次数：
218
