将一个特定页面抓取为一张png图片的最简单的方法是使用CutyCapt，这是一种在Linux下的方便地将HTML网页转化成矢量图形和位图图像格式的命令行工具（比如，SVG, PDF, PS, PNG, JPEG, TIFF, GIF）。CutyCapt内部使用WebKit渲染引擎来导出网页渲染输出到...
分类：
Web程序 时间：
2014-10-29 12:54:44
阅读次数：
208
最近在做项目的时候有一个需求：从网页面抓取数据，要求是首先抓取整个网页的html源码（后期更新要使用到）。刚开始一看这个简单，然后就稀里哗啦的敲起了代码（在这之前使用过Hadoop平台的分布式爬虫框架Nutch，...
分类：
编程语言 时间：
2014-10-17 02:11:54
阅读次数：
306
今天通过查资料了解到web的页面抓取功能，应用HttpWebRequest和HttpWebResponse功能，从http://www.showji.com网站中抓取归属地信息应该说这个方法是从别的论坛中学习来的，具体过程如下：通过IE9的网络监控功能：通过分析抓取的数据，将获取归属的地信息分析一条...
分类：
移动开发 时间：
2014-09-23 21:55:05
阅读次数：
220
最近在做项目的时候有一个需求：从网页面抓取数据，要求是首先抓取整个网页的html源码（后期更新要使用到）。刚开始一看这个简单，然后就稀里哗啦的敲起了代码（在这之前使用过Hadoop平台的分布式爬虫框架Nutch，使用起来是很方便，但是最后因为速度的原因放弃了，但生成的统计信息在后来的抓取中使用到.....
分类：
编程语言 时间：
2014-09-22 02:43:01
阅读次数：
301
在上篇基于PHP采集数据入库程序（二）中提到采集新闻信息页的列表数据，接下来讲讲关于采集新闻具体内容这是上篇博客的最终数据表截图：接下来要做的操作就是从数据库中读取所需要采集的URL，进行页面抓取就行新建一个content表不过需要注意的一点是，不能再采用采集URL这种id递增的方法去采集，因为数据...
分类：
Web程序 时间：
2014-07-28 23:35:04
阅读次数：
359
import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.io.UnsupportedEncodingException;import java.net....
分类：
编程语言 时间：
2014-07-18 10:31:36
阅读次数：
339
import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.net.MalformedURLException;import java.net.URL;im...
分类：
编程语言 时间：
2014-07-10 15:38:07
阅读次数：
363
