今天上午看到一篇文章：一个简单粗暴的爬虫 - 必应今日美图。我也用自己的方式更加简单的实现了这个功能。下面我就贴一下自己的代码和思路。 我就不分析原博的思路了，原博写的很清楚。我用的是htmlunit，从原博的第三步开始，观察三级地址的规律，从http://bing.plmeizi.com/show ...
分类：
其他好文 时间：
2017-09-30 16:24:59
阅读次数：
216
HtmlUnit测试工具的推出，创意非常好。是一款给java开发用的browser。说它是browser，其实它是对html建模并且提供API来访问页面，点击链接等等的java类库。 这样的测试工具有这样几个优点： 运行起来没有界面，速度非常快。 由于是java类库，有无限扩展的可能，可以构造各种功 ...
分类：
Web程序 时间：
2017-07-30 13:55:32
阅读次数：
282
最近在用Jsoup抓取某网站数据，可有些页面是ajax请求动态生成的，去群里问了一下，大神说模拟ajax请求即可。去网上搜索了一下，发现了这篇文章，拿过来先用着试试。 转帖如下： 网上关于网络爬虫实现方式有很多种，但是很多都不支持Ajax，李兄说：模拟才是王道。确实，如果能够模拟一个没有界面的浏览器 ...
分类：
Web程序 时间：
2017-07-30 12:39:59
阅读次数：
300
htmlunit 是一款开源的java 页面分析工具，读取页面后，可以有效的使用htmlunit分析页面上的内容。 项目可以模拟浏览器运行，被誉为java浏览器的开源实现。是一个没有界面的浏览器。 采用的是Rhinojs引擎。模拟js运行。 使用htmlunit抓取网页大概可以分为以下几个步骤： 1 ...
分类：
Web程序 时间：
2017-07-29 16:46:46
阅读次数：
183
HtmlUnit说白了就是一个浏览器，这个浏览器是用Java写的无界面的浏览器，正因为其没有界面,因此执行的速度还是可以滴。 HtmlUnit提供了一系列的API,这些API可以干的功能比较多，如表单的填充，表单的提交，模仿点击链接，由于内置了Rhinojs引擎，因此可以执行JavaScript 之 ...
分类：
Web程序 时间：
2017-07-04 14:54:06
阅读次数：
974
起因：使用htmlunit爬取外部网页的时候遇到这个异常：java.lang.IllegalArgumentException: Cannot locate declared field class org.apache.http.impl.client.HttpClientBuilder.dnsR ...
分类：
编程语言 时间：
2017-07-04 13:21:02
阅读次数：
1185
第一节： HtmlUnit 简介第二节： HtmlUnit HelloWorld 实现 ...
分类：
Web程序 时间：
2017-06-21 11:44:11
阅读次数：
200
第一节： htmlunit 模拟浏览器请求 第二节： htmlunit 获取指定元素 第三节： htmlunit 使用代理 IP 第四节： htmlunit 取消 css,javascript 支持 第五节： htmlunit 模拟按钮点击 ...
分类：
Web程序 时间：
2017-06-21 11:27:19
阅读次数：
181
一款开源的java页面分析工具,可以解析js加载出来的页面数据 ...
分类：
Web程序 时间：
2017-06-08 23:49:17
阅读次数：
487
