主要介绍基于XPATH的文本分析方式的实现，代码如下：using System;using System.Collections.Generic;using System.Linq;using System.Text;using System.Threading.Tasks;using HtmlAg...
分类：
Web程序 时间：
2015-06-09 21:33:45
阅读次数：
158
代码放在Github上了。https://github.com/lpe234/meizi_spider? 基于Scrapy(0.22)爬虫示例 获取(http://www.meizitu.com/)网站图片，并保存到本地文件夹(meizi_images)下。 运行 python?run_spider.py??#?即...
分类：
其他好文 时间：
2015-06-04 22:56:26
阅读次数：
306
转载请注明出处！原文链接：http://blog.csdn.net/zgyulongfei/article/details/7909006有时候因为种种原因，我们须要採集某个站点的数据，但因为不同站点对数据的显示方式略有不同！本文就用Java给大家演示怎样抓取站点的数据：（1）抓取原网页数据；（2）...
分类：
编程语言 时间：
2015-06-01 11:12:31
阅读次数：
173
抓取结果：Year: 15FallDegree: MSOffer/Rej: RejMajor: CSUniversity: RutgersT:GRE:GPA: ()Detailed Major:BackGround: 本科其他Abroad_BackGround:源代码如下：# -*- coding:...
分类：
编程语言 时间：
2015-05-07 16:32:27
阅读次数：
124
转载请注明出处！原文链接：http://blog.csdn.net/zgyulongfei/article/details/7909006有时候因为种种原因，我们须要採集某个站点的数据，但因为不同站点对数据的显示方式略有不同！本文就用Java给大家演示怎样抓取站点的数据：（1）抓取原网页数据；（2）...
分类：
编程语言 时间：
2015-05-05 18:20:01
阅读次数：
185
最近用WPF写了款个人公积金查询的程序（针对shgjj网站），主要是模拟网站登录系统，识别简单的验证码，数据抓取及解析PS：关于360程序的拦截，首先声明程序里面没有任何危害到用户电脑和账号信息安全的代码，至少在我本机开发的电脑上运行是没有拦截，但是有人还是反应会拦截，那首先360你们懂的，不管是好...
分类：
其他好文 时间：
2015-04-24 18:32:45
阅读次数：
121
///
/// 获取相应的标签内容
///
/// 地址链接
/// css路径
///
public static IEnumerable GetUrlInfo(string url, string cssLoad)
{
HtmlAgilityPack.H...
分类：
其他好文 时间：
2015-04-23 15:42:13
阅读次数：
337
这里用Hadley Wickham开发的rvest包。再次给这位矜矜业业开发各种好用的R包的大神奉上膝盖。 查阅资料如下： rvest的github rvest自身的帮助文档 rvest + CSS Selector 网页数据抓取的最佳选择-戴申 : 里面有提及如何快速获得html的位置。看完这篇，...
分类：
其他好文 时间：
2015-04-22 22:05:22
阅读次数：
597
笔者出于兴趣或者工作需要，会经常对一些网站的数据进行数据抓取，对于像淘宝、携程、百度这类大型互联网公司的网站，出于安全或者性能考虑，常常会针对网站加入反抓取策略脚本。在该类脚本中，常见的手法有以下几种：1. 针对简单数值变量的值，会把它用一个数值表达式来表示，让你没办法一眼看穿它，如：_lkqr =...
分类：
Web程序 时间：
2015-04-21 12:56:28
阅读次数：
115
此文主要是 中国天气网和中国环境监测总站的数据抓取 打算开放全部数据抓取源代码（微信关注人数大于100统一发放） 已在服务器上 稳定运行半个月webapihttp://api.xuzhiheng.cn/常量 1 /// 2 /// 环保部抓取数据链接 3 /// ...
分类：
微信 时间：
2015-04-18 11:26:11
阅读次数：
596
