首先从标题说起,为啥说抓取网站数据不再难(其实抓取网站数据有一定难度),SO EASY!!!使用Fizzler全搞定,我相信大多数人或公司应该都有抓取别人网站数据的经历,比如说我们博客园每次发表完文章都会被其他网站给抓取去了,不信你们看看就知道了。还有人抓取别人网站上的邮箱、电话号码、QQ等等有用信
分类:
Web程序 时间:
2016-02-14 11:44:39
阅读次数:
289
///
/// 获取相应的标签内容
///
/// 地址链接
/// css路径
///
public static IEnumerable GetUrlInfo(string url, string cssLoad)
{
HtmlAgilityPack.H...
分类:
其他好文 时间:
2015-04-23 15:42:13
阅读次数:
337
这两天在做个爬虫, 一次任务要下载3万多个页面, 然后从这3万多个页面提取数据.以前写过两年的类似的东西, 基本都是写正则表达式, 速度快, 就是写正则表达式老费劲了, 目标网页稍微改动一点就要重写正则.后来我用了 HtmlAgilityPack + Fizzler, 很轻松的就处理了.昨天, 我找...
分类:
其他好文 时间:
2015-01-29 17:13:50
阅读次数:
405
首先从标题说起,为啥说抓取网站数据不再难(其实抓取网站数据有一定难度),SO EASY!!!使用Fizzler全搞定,我相信大多数人或公司应该都有抓取别人网站数据的经历,比如说我们博客园每次发表完文章都会被其他网站给抓取去了,不信你们看看就知道了。还有人抓取别人网站上的邮箱、电话号码、QQ等等有用信息,这些信息抓取下来肯定可以卖钱或者干其他事情,我们每天都会时不时接到垃圾短信或邮件,可能就这么回事...
分类:
Web程序 时间:
2014-12-20 11:47:32
阅读次数:
368