一、vbs 解析 html 文档 原文地址：http://www.cnblogs.com/52cik/p/vbs-parse-html.html 关于VBS采集，网上流行比较多的方法都是正则，其实 htmlfile 可以解析 html 代码，但如果 designMode 没开启的话，有时候会包安全提... ...
分类：
Web程序 时间：
2016-08-12 23:35:35
阅读次数：
435
最新半年我们的一个项目为客户采集互联网数据，我们对采集工具进行了深入的研究，也自行开发了一款采集程序，计划先将工具这块给大家分享，录制成一套课程。后续为另外录制一套产品开发的课程，敬请期待。
分类：
其他好文 时间：
2016-08-04 11:51:51
阅读次数：
189
1，引言最近一直在看Scrapy爬虫框架，并尝试使用Scrapy框架写一个可以实现网页信息采集的简单的小程序。尝试过程中遇到了很多小问题，希望大家多多指教。本文主要介绍如何使用Scrapy结合PhantomJS采集天猫商品内容，文中自定义了一个DOWNLOADER_MIDDLEWARES，用来采集需要加载j..
分类：
编程语言 时间：
2016-07-07 14:36:43
阅读次数：
598
1，引言GooSeeker早在9年前就开始了SemanticWeb领域的产品化，MS谋数台和DS打数机是其中两个产品。对web内容做结构化转换和语义处理的主要路线是XML->RDF->OntologyEngineering。所以这两款产品的输出信息是XML格式的，实现第一步：结构化转换。单纯作为一个网页采集器来..
分类：
编程语言 时间：
2016-06-20 19:12:41
阅读次数：
394
PHP的CURL方法curl_setopt()函数案例介绍(抓取网页,POST数据) PHP的CURL方法curl_setopt()函数案例介绍(抓取网页,POST数据) 通过curl_setopt()函数可以方便快捷的抓取网页(采集很方便)，curl_setopt 是php的一个扩展库 使用条件： ...
分类：
Web程序 时间：
2016-05-11 11:01:28
阅读次数：
254
分享一个近期写的简单版的网页采集器 功能特点： 1、可通过配置，保存采集规则。 2、可通过采集规则，进行数据采集。 3、可分页，分关键字，进行采集。 4、可保存数据至数据库，文本中。 ........... 功能还比较简单，喜欢深入的可以继续深入下去，暂时还没有登录的功能，因为登录功能涉及到的范围比 ...
分类：
Web程序 时间：
2016-05-03 23:50:40
阅读次数：
201
转载：源作者不详。下面的这些方法是可以标本兼治的：1、限制IP地址单位时间的访问次数分析：没有哪个常人一秒钟内能访问相同网站5次，除非是程序访问，而有这种喜好的，就剩下搜索引擎爬虫和讨厌的采集器了。弊端：一刀切，这同样会阻止搜索引擎对网站的收录适用网站：不太依靠搜索引擎的网站采集器会怎么做：减少单位...
分类：
Web程序 时间：
2015-08-18 11:37:18
阅读次数：
135
实现效果1）本辅助类主要是用来方便实现QQ密码加密操作。2）在QQ的很多模拟网页采集数据，需要输入用户账号、密码，其中密码是需要进行加密操作的，一般使用js脚本实现，这里把它转化为C#的代码操作，其实也就是把密码和验证码通过3次MD5加密实现的。//////QQ根据密码及验证码对数据进行加密////...
分类：
其他好文 时间：
2015-07-22 20:24:17
阅读次数：
150
百度搜索一下python，廖雪峰python教程排行前三，进入看下还不错，但是手机上看起来不方便，所以将其教程从网页上采集起来转为pdf，有需要的朋友可以看看。
特别说明：本人采集此教程只用于学习目的，《python2.7教程》版权归原作者廖雪峰所有。...
分类：
编程语言 时间：
2015-06-11 17:02:27
阅读次数：
3116
数据采集和DataFlow对于数据采集主要分为三类，即结构化数据库采集，日志和文件采集，网页采集。对于结构化数据库，采用Sqoop是合适的，可以实现结构化数据库中数据并行批量入库到hdfs存储。对于网页采集，前端可以采用Nutch，全文检索采用lucense，而实际数据存储最好是入库到Hbase数据...
分类：
其他好文 时间：
2015-05-30 07:01:49
阅读次数：
205
