码迷,mamicode.com
首页 >  
搜索关键字:数据采集    ( 1158个结果
USB设备驱动开发之远程访问USB设备(二 USB设备虚拟端)
By Fanxiushu 2016-05-22 转载或引用请注明原始作者 接上文, 在处理好USB数据采集端的问题之后,接下来进入核心的部分,虚拟USB设备端的开发工作。 上文简单介绍过,需要开发虚拟总线驱动来模拟USB设备。 所谓虚拟总线驱动,就是安装于System系统设备下的一个驱动,由PnP管理器创建出一个虚拟的总线PDO设备, 我们的虚拟总线驱动Attach到这个PDO上,形成一...
分类:其他好文   时间:2016-05-27 12:38:16    阅读次数:396
为何大量网站不能抓取?爬虫突破封禁的6种常见方法
在互联网上进行自动数据采集(抓取)这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”,有时会把网络数据采集程序称为网络机器人(bots)。最常用的方法是写一个自动化程序向网络服务器请求数据(通常是用 HTML 表单或其他网页文件),然后对数据进行解析,提取需要的信息。 本文 ...
分类:Web程序   时间:2016-05-27 10:53:07    阅读次数:8909
遥感卫星快视设备的设计与实现
遥感卫星快视设备的设计与实现 作者:孙磊, 安建平, 卜祥元 遥感卫星在进行地面信源测试时,需要对测试信源进行高速持续大容量记录,以达到测试卫星信源的目的。在一些诸如雷达信号处理、图像通信、高速A/D数据采集等通信和测量领域,也往往需要实时记录高速数据,以进行分析和处理。卫星快视设备就是针对卫星测试 ...
分类:其他好文   时间:2016-05-26 18:54:32    阅读次数:203
爬虫的框架
[开源 .NET 跨平台 数据采集 爬虫框架: DotnetSpider] [二] 最基本,最自由的使用方式 上一篇大至 介绍了一下爬虫的框架设计,从这一篇开始着重介绍如何使用这个爬虫。 数据抽取定义 之前也有人反应说用Attribute+模型来定义抽取规则太花哨,实用性不强。实际上可能他没有仔细看 ...
分类:其他好文   时间:2016-05-25 10:39:05    阅读次数:196
[开源 .NET 跨平台 数据采集 爬虫框架: DotnetSpider] [二] 最基本,最自由的使用方式
上一篇大至 介绍了一下爬虫的框架设计,从这一篇开始着重介绍如何使用这个爬虫。 数据抽取定义 之前也有人反应说用Attribute+模型来定义抽取规则太花哨,实用性不强。实际上可能他没有仔细看到我的设计,我的核心抽取不是Attrbiute+模型,而是采用类似JSON的定义格式,可以实现各种嵌套,各种能 ...
分类:Web程序   时间:2016-05-25 00:07:43    阅读次数:2643
Python读取PDF内容
晚上翻看《Python网络数据采集》这本书,看到读取PDF内容的代码,想起来前几天集搜客刚刚发布了一个抓取网页pdf内容的抓取规则,这个规则适用的是已经把pdf内容合到html里的情况。现在这个python版本的代码,是读取pdf文件内容(互联网上的或是本地的),觉得这个很有参考价值,..
分类:编程语言   时间:2016-05-23 19:31:21    阅读次数:277
wordpress如何实现自动网页数据采集和发布
1. 注册账号 打开神箭手官网(http://www.shenjianshou.cn/),注册一个账号: 2.获取采集规则 点击官网首页右上角的“云市场”,在市场里免费获取采集规则: 3.采集数据 1) 进入“管理控制台”; 2) 新建任务(“我的任务”->“创建爬虫任务”->选择刚获取的规则(模板 ...
分类:Web程序   时间:2016-05-23 16:42:41    阅读次数:668
一些VR延迟优化方法
http://m.blog.csdn.net/article/details?id=50667507 VR中的”延迟”, 特指”Motion-To-Photon Latency”, 指的是从用户运动开始到相应画面显示到屏幕上所花的时间. 这中间经过了大概这么几个步骤: 传感器采集运动输入数据 采集到 ...
分类:其他好文   时间:2016-05-23 13:24:01    阅读次数:380
数据采集及预处理
一、数据采集方法 1.数据来源 一手数据:数据的直接来源。 二手数据:数据的间接来源。内部来源:比如财务报表,包括会计计算,成本资料等。外部来源:比如各类统计年鉴等,调查机构发布的数据等。...
分类:其他好文   时间:2016-05-20 19:44:45    阅读次数:1571
六大网页数据采集器特色对比
对比分析目前市场上主流的六大网页数据采集器,对他们各自的特色进行总结。对需要进行数据采集的人来说帮助很大。 ...
分类:Web程序   时间:2016-05-20 19:31:10    阅读次数:221
1158条   上一页 1 ... 84 85 86 87 88 ... 116 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!