码迷,mamicode.com
首页 >  
搜索关键字:数据采集    ( 1158个结果
小白学习大数据测试之hadoop再次探索
引子虽然通过《小白学习大数据测试之hadoop初探》以及把hadoop的基本核心说明白了,但是似乎对于小白来说还是会有点懵逼。。。。那么这次我们就在来看看大数据粗暴理解大数据甭管什么,简单粗暴的理解为大!大!大!对,你没看错,不管什么都是大就对了,哈哈哈哈大数据应用的功能抽象出来基本就是:数据采集、数据存储、数据处理(过滤、拆分、聚合)、数据分析、数据应用。说白了就是对从各处采集的数据经过一系列的
分类:其他好文   时间:2018-01-22 20:03:17    阅读次数:148
Python爬虫——城市公交、地铁站点和线路数据采集
本篇博文为博主原创,转载请注明。 城市公交、地铁数据反映了城市的公共交通,研究该数据可以挖掘城市的交通结构、路网规划、公交选址等。但是,这类数据往往掌握在特定部门中,很难获取。互联网地图上有大量的信息,包含公交、地铁等数据,解析其数据反馈方式,可以通过Python爬虫采集。闲言少叙,接下来将详细介绍 ...
分类:编程语言   时间:2018-01-09 16:40:19    阅读次数:3121
关于MOVE 和 CopyMemory 的用法区别
最近做了一个数据采集服务器, 根据程序的框架,使用了大量的指针结构体(内存块) 操作。 例子: PArrayByte = ^TArrayByte; TArrayByte = packed record ABinding: Pointer; data: TBytes; len: integer; IP ...
分类:其他好文   时间:2018-01-05 22:34:09    阅读次数:223
(转)USB小白学习之路(10) CY7C68013 Slave FIFO模式下的标志位
转自良子:http://www.eefocus.com/liangziusb/blog/12-11/288618_bdaf9.html CY7C68013含有4个大端点,可以用来处理数据量较大的传输,如数据采集、视频等方面的应用。每个大端点都可以独立配置对应的FIFO,同时,也提供了相应的标志位,分 ...
分类:其他好文   时间:2018-01-03 11:43:28    阅读次数:167
剖析大数据平台的数据存储
我在一次社区活动中做过一次分享,演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中,我主要分析了大数据平台架构的生态环境,并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解,并结合具体的技术选型与需求场景,给出了我个人对大数据平台的理解。本文讲解数据存储部分。 数据作为一种资产 ...
分类:其他好文   时间:2018-01-02 23:24:55    阅读次数:187
java通过url抓取网页数据
在很多行业中,要对行业数据进行分类汇总,及时分析行业数据,对于公司未来的发展,有很好的参照和横向对比。所以,在实际工作,我们可能要遇到数据采集这个概念,数据采集的最终目的就是要获得数据,提取有用的数据进行数据提取和数据分类汇总。 很多人在第一次了解数据采集的时候,可能无从下手,尤其是作为一个新手,更 ...
分类:编程语言   时间:2017-12-31 10:57:34    阅读次数:151
Python爬虫(十九)_动态HTML介绍
JavaScript JavaScript是网络上最常用也是支持者对多的客户端脚本语言。它可以收集用户的跟踪数据,不需要重载页面直接提交表单,在页面嵌入多媒体文件,甚至运行网页游戏。 我们可以在网页源代码的``标签里看到,比如: jQuery jQuery是一个非常常见的库,70%最流行的网站(约2 ...
分类:编程语言   时间:2017-12-21 21:42:24    阅读次数:222
剖析大数据平台的数据采集
我在一次社区活动中做过一次分享,演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中,我主要分析了大数据平台架构的生态环境,并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解,并结合具体的技术选型与需求场景,给出了我个人对大数据平台的理解。本文讲解数据采集部分。 数据采集的设计, ...
分类:其他好文   时间:2017-12-20 04:01:37    阅读次数:202
GIS坐标系统与投影变换【1】前言
1.前言 众说周知,坐标系统是GIS系统的基础。了解坐标系统,才能做到精确定位。精确定位地理要素对于制图和 GIS分析来说都至关重要。了解坐标系统,才能实现不同源和不同坐标系中的数据图层正确转换、叠加。了解坐标系统,才能因地制宜,根据范围、面积、需求选择适合的坐标系统进行数据采集。 …… 然而在水群 ...
分类:其他好文   时间:2017-12-16 14:48:25    阅读次数:145
【概率论与数理统计】小结7 - 统计基础概念
注:概率论方面就暂时告一段落,终于可以说说统计方面的事情了。如果说概率论中主要是研究随机变量的方法学和理论模型,那么统计学就是利用概率论这一强大的工具来研究具有随机性的现象(结果的不确定性)。而研究这些随机现象最重要的方法就是,大量重复试验进而找到其统计规律性。一般步骤为:重复试验(例如反复测量,多 ...
分类:其他好文   时间:2017-12-13 23:45:02    阅读次数:118
1158条   上一页 1 ... 57 58 59 60 61 ... 116 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!