标签：http os 使用 sp 数据 div on 工作 ef
最近在做大数据，需要大量的测试数据，于是就打算在网上抓取一些新闻进行测试。刚开始在网上也找了一此数据抓取的软件试用，但是一直都感觉不太好用，不是功能不符合自己的要求就是没有详细的使用说明，还要仔细研究其用法，有点背道而驰了。偶尔在网上发现了熊猫采集软件（官网地址：http://www.caijiruanjian.com/），试了一下，感觉还是不错的，就此分享一下给大家。
通用性的采集软件
熊猫采集软件虽然操作简便，但也兼顾通用性、复杂性。可以适用各种特殊场合，力求满足用户各种特殊要求。软件针对常规应用做了大量简化操作和智能化的自动辅助功能，同时一并保留了复杂情况下的操作设置通道。同样，这些复杂操作依旧不需要使用正则表达式技术，系统也尽可能的做了操作优化，例如对于post页面的post变量可以实现自动取值。
熊猫采集软件的解析内核，并不会针对任何特定的网页模板或者网页模式，软件立足打造成为一款通用性的采集软件。熊猫一直致力于探索可以通用于各种场合的公式方法，而不愿使用“拼凑”的方法来解决采集的实现。
下面先介绍下其特性：
1.智能化辅助操作
为了方便采集软件使用新手能顺利操作，同时也为了提高采集项目设置的效率，软件已尽最大努力，帮助用户实现一些采集设置的自动设置工作，例如可以自动为用户找到分页(翻页)链接所在，并自动设置好分页(翻页)链接参数；可以分离参考页面的框架内容和核心内容；自动实现分页内容的合并整理；等等。只是一些关键性的设置操作必须要由用户自己来决定。
熊猫采集软件，利用的是新一代精准搜索引擎的解析内核，拥有大量的原创性的关键技术，因此在技术上拥有难以被轻易复制的门槛。一些独特的软件功能是建立在原创技术基础上的技术应用。
2.全程可视化鼠标操作
软件的设置过程采用独特的工作模式，设置过程中，窗口右边的浏览器会对应显示相应的网页内容，用户可以获得非常直观的理解。全程鼠标操作，用户无需使用复杂的正则表达式技术。在绝大部分情况向下，用户都不需要过问网页源码内容。
互联网的公开资源是平等面向所有互联网用户，借助熊猫采集工具软件，采集这些互联网资源就不再只是网络技术高手的专利。
3.可采集结构复杂的对象集合
这是熊猫采集软件最为独特的地方之一。熊猫采集是面向对象的，该对象的各项子内容可以是分散在多个页面内，这些内容页面可以是需要很多次链接才能到达，（传统的采集方式一般只能将采集范围局限在某一个页面(或分页)内，）因此熊猫采集软件可以灵活实现各种采集需求。
面向对象的采集方式是非常灵活的，可以用来变通实现对(二级)标题列表页面的访问，可以是无限嵌套的。
4.采集结果可以是由多张表组成的复杂数据关系
这也是熊猫采集软件最为独特的地方之一。熊猫采集是面向对象的，而作为该对象的组成内容的相互间关系可能是非常复杂的，因此用来记录这些关系复杂的内容的数据库表单也需要是非常灵活的，可能会同时涉及到多张表单。目前版本的熊猫采集软件，支持一父多子的数据关系表。子表内容可以是多项(指重复子项)，也可以是父表内容的切割表。
例如需要采集类似阿里巴巴这样B TO B网站内的企业的全部信息资料，可以把该企业的全部信息资料当成一个“对象”集合来对待。该企业的基本资料内容可以存入主表，该企业的产品可以有很多项，因此该企业的产品资料就必须要存储到“重复子项”子表内，这样组成的数据关系才有应用意义。
5.强悍的抗干扰能力
很多网站都针对采集行为作了各种干扰措施，传统的采集工具都是依赖分析网页源码，利用正则表达式技术从网页源码中抽取特殊内容。而熊猫则完全不同，利用的是仿浏览器解析技术，因此这些反采集的干扰措施对熊猫基本无效。
因此选择熊猫，你就不必因为你的采集规则频繁过期而烦恼。
熊猫数据采集
标签：http os 使用 sp 数据 div on 工作 ef
原文地址：http://www.cnblogs.com/nyzhai/p/4023671.html
