这次我以爬新浪微博为例，这个过程太纠结了，参考了好多大神的帖子，不过还是遗留了很多问题，我们慢慢来看，希望大神帮于指正，我的方法暂时来说还是比较挫的 ????????登陆问题 ????????爬新浪微...
分类：
Web程序 时间：
2015-09-01 15:25:48
阅读次数：
1075
什么是HtmlUnit HtmlUnit是一个开源的浏览器模拟工具，可以方便我们模拟浏览器的行为，例如打开网页，提交表单等，这样我们可以用他来爬网页 官网下载：http://htmlunit.sourceforge.net/? java API：http://ht...
分类：
Web程序 时间：
2015-08-31 12:00:15
阅读次数：
1064
htmlparser使用指南需要做一个垂直搜索引擎，比较了nekohtml和htmlparser 的功能，尽管nekohtml在容错性、性能等方面的口碑好像比htmlparser好（htmlunit也用的是nekohtml），但感觉 nekohtml的测试用例和文档都比htmlparser都少，而且...
分类：
Web程序 时间：
2015-08-17 00:57:27
阅读次数：
377
最近在做一个项目参加比赛，需要截取很多数据，意外找到了一个程序叫webcollector 然而在使用的时候出了一个问题
java.lang.NoClassDefFoundError: org/openqa/selenium/htmlunit/HtmlUnitDriver
不停得提示这个 ，在网上找了很久没发现解决方案
不想草草了之，google了NoClassDefFoundErro...
分类：
编程语言 时间：
2015-07-31 13:01:53
阅读次数：
270
打开浏览器HtmlUnit Driver优点：不会实际打开浏览器，运行速度很快。缺点：对JavaScript的支持不够好，有时会捕获不到页面元素。使用：WebDriver driver=new HtmlUnitDriver();Firefox优点：Firefox Driver 对页面的自动化测试支持...
分类：
Web程序 时间：
2015-07-11 18:20:04
阅读次数：
128
爬出和反爬出是矛与盾的关系, 进化史 1,java原生自带url类:url.getContent();? 2,httpclient, 3,jsoup,htmlclean. 4,htmlunit, 5,se. 1-2只是原生http链接, 3,做了解析层面的支持,比如页面html清理,xpath支持; 4...
分类：
其他好文 时间：
2015-06-15 19:00:39
阅读次数：
144
目标：动态网页爬取
说明：这里的动态网页指几种可能：1）需要用户交互，如常见的登录操作；2）网页通过JS / AJAX动态生成，如一个html里有，通过JS生成aaa。
这里用了WebCollector 2进行爬虫，这东东也方便，不过要支持动态关键还是要靠另外一个API -- selenium 2（集成htmlunit 和 phantomjs）.
1）需要登录后的爬取，如新浪微博...
分类：
Web程序 时间：
2015-06-10 19:28:54
阅读次数：
1559
网络爬虫第一个要面临的问题，就是如何抓取网页，抓取其实很容易，没你想的那么复杂，一个开源HtmlUnit包，几行代码就OK啦！通常在一个页面中会包含别的Url，在别的Url当中又会包含更多的Url。如果我们要对与该站点相关的Url全部都抓取过来。就相当于我们要对跟这个站有关的Url进行搜索。常用的搜...
分类：
Web程序 时间：
2015-05-22 18:51:22
阅读次数：
161
文档内容说明
文档内容主要涉及基于 http://git.oschina.net/xautlx/nutch-ajax 项目内容（额外包含一些Nutch和Solr标准的功能和原理说明但不保证完整性）的设计和开发过程讲解。具体可详见文档目录列表。
主要功能特性
常规的HTML页面抓取: 对于常规的例如新闻类没有AJAX特性的页面可以直接用Nutch自带的protocol-http插件抓取。
常规的AJAX页面抓取: 对于绝大部分诸如jQuery ajax加载的页面，可以直接用htmlunit扩展插件抓取。
...
分类：
其他好文 时间：
2015-05-04 15:33:08
阅读次数：
294
在使用 ikvm 去运行 htmlunit 中的 webclient Getpage的时候 报错说com.sun.org.apache.xerces.internal.jaxp.DocumentBuilderFactoryImpl not found查了半天 虽然不知道原因是什么但是 在使用 get...
