1、数据采集 使用Hadoop分析处理数据，需要装载大量从不同来源的数据到Hadoop集群。从不同来源大容量的数据加载到Hadoop，然后这个过程处理它，这具有一定的挑战。维护和确保数据的一致性，并确保资源的有效利用，选择正确的方法进行数据加载前有一些因素是要考虑的。 http://www.68dl ...
分类：
其他好文 时间：
2017-01-22 13:28:49
阅读次数：
210
使用ApacheFlume抓取数据，怎么来抓取呢？不过，在了解这个问题之前，我们必须明确ApacheFlume是什么？一、什么是ApacheFlumeApacheFlume是用于数据采集的高性能系统，名字来源于原始的近乎实时的日志数据采集工具，现在广泛用于任何流事件数据的采集，支持从很多数据源聚合数..
分类：
Web程序 时间：
2017-01-18 14:18:34
阅读次数：
250
1.logstash的概念及特点。概念：logstash是一个数据采集、加工处理以及传输(输出)的工具。特点： - 所有类型的数据集中处理 - 不同模式和格式数据的正常化 - 自定义日志格式的迅速扩展 - 为自定义数据源轻松添加插件 2.logstash安装配置。①.下载安装[root@node1 ...
分类：
其他好文 时间：
2017-01-17 13:48:11
阅读次数：
397
本文重点探讨数据采集层中的微信分享追踪系统。用户在微信中对Web H5网页进行浏览、分享，便会形成两种数据：操作行为数据和用户之间的传播关系数据，微信分享追踪系统便是对这类数据进行采集、存储，本文主要...
分类：
微信 时间：
2017-01-13 13:06:39
阅读次数：
363
转自:http://www.csdn.net/article/2014-06-12/2820196-Storm 摘要：实时计算一般都是针对海量数据进行的，一般要求为秒级。实时计算主要分为两块:数据的实时入库、数据的实时计算。今天这篇文章详细介绍了实时计算，流数据处理系统简介与简单分析。 编者按：互联 ...
分类：
其他好文 时间：
2017-01-10 17:40:44
阅读次数：
521
转自阿凡卢原文C#自定义工业控件开发 由于工作需要，调研过一段时间的工业控制方面的“组态软件”（SCADA）的开发，组态软件常用于自动化工业控制领域，其中包括实时数据采集、数据储存、设备控制和数据展现等功能。其中工控组件的界面展现的实现类似于Windows系统下的各种开发控件，通过各种控件的组装，和 ...
看到一则消息《联想PDA助力306医院智慧医疗建设》，看完后感慨颇多：“大象”终于开始踩“蚂蚁”了！虽然主观上感觉这种做法很不地道，同时为传统PDA企业捏了一把汗，但客观上说联想切入时机之“准”，切入领域之“狠”确实令人敬佩。 在PDA行业“狼来啦”喊了多年，但迟迟不见这些做手机的大佬们出手，究其原 ...
分类：
移动开发 时间：
2017-01-09 12:55:59
阅读次数：
446
一、外部数据源《集团内部数据》客户信息产品信息供应商信息《第三方数据》公众号信息BAT数据电信数据营销知识库ERPAppAPI 二、数据采集数据实时采集器（外部数据进入）从调查、第一步、第二部、。。。成交。。。会员经营等阶段收集数据 三、大数据存储精准投放跟进提醒资源配置项目联动客户经营交易分析 四 ...
分类：
其他好文 时间：
2017-01-06 00:58:23
阅读次数：
229
1.openstack简介Openstack是一个项目，该项目支持所有类型的云环境的一个开源云计算平台，该项目的目的是为了实现简单，大规模可扩展性，以及丰富功能集，来自世界各地的云计算专家项目作出贡献。Openstack提供了一个基础架构即服务（Iaas）并通过各种配套服务的解决方案，每个..
分类：
其他好文 时间：
2017-01-04 23:53:53
阅读次数：
1138
效果 为了采集效果图，我也是豁出去了，请忽略人物，关注技术。 忽略本人.png 基本知识介绍 AVFoundation: 音视频数据采集需要用AVFoundation框架. AVCaptureDevice：硬件设备，包括麦克风、摄像头，通过该对象可以设置物理设备的一些属性（例如相机聚焦、白平衡等） ...
分类：
移动开发 时间：
2016-12-29 23:26:10
阅读次数：
316
