1、大数据处理与系统简介特征典型应用代表性的处理系统适用场景批量数据处理系统首要任务：1.利用批量数据挖掘合适的模式2.得出具体的含义3.制定明智的决策4.做出有效的应对措施5.实现业务目标1.数据体量巨大2.数据精确度高3.数据价值密度低1.互联网领域： a.社交网络 b.电子商务 c.搜索引擎2...
分类：
其他好文 时间：
2014-10-09 02:40:37
阅读次数：
338
基于hadoop (map/reduce)的大规模分布式并行计算生产排程系统的设计
map/reduce是大数据处理的技术，它的思路是把大规模数据分成一个个小数据块，每个数据块由一个map任务来处理，处理的中间结果汇总到reduce,最后生成最终的处理结果，这个处理和汇总的过程是可以反复多次的，也就是map-reduce-map-reduce
基于map/redu...
分类：
其他好文 时间：
2014-10-06 13:19:00
阅读次数：
127
大数据架构设计原则从功能模块可划分为：数据标准（数据标准字典，数据流程规范）;数据模型（数据主题域，概念模型，主数据体系，模型选择）;数据管理体系(管理规范及流程，质量控制，元数据管理，调度管理，日志监控）从业务需求，主要要求有：灵活性，简易性，安全性，连续性..
分类：
其他好文 时间：
2014-09-29 19:44:51
阅读次数：
403
转自： http://www.csdn.net/article/2013-12-04/2817707-Impala-Big-Data-Engine大数据处理是云计算中非常重要的领域，自Google公司提出MapReduce分布式处理框架以来，以Hadoop为代表的开源软件受到越来越多公司的重视和青睐...
分类：
其他好文 时间：
2014-09-26 22:27:38
阅读次数：
219
一、 大数据基本概念大数据Big Data是指大小超出了经常使用的软件工具在执行时间内能够承受的收集，管理和处理数据能力的数据集;大数据是眼下存储模式与能力、计算模式与能力不能满足存储与处理现有数据集规模产生的相对概念。大数据的预处理主要完毕对已接收数据的辨析、抽取、清洗等操作。(1)抽取：因获取的...
分类：
其他好文 时间：
2014-09-24 22:08:37
阅读次数：
1117
1、服务性行业（含终端销售，中间流通)将是公共云计算的大舞台，传统的终端性管理软件将会很难生存;2、制造加工业是云和传统结合的趋势，销售服务云化，生产管理方面保持传统，但会更精细化。3、云计算的出现对IT就业的影响，两个趋势：高端化趋势，底层化趋势，高端化趋势是指对程序员的要求会提高，数据挖掘和大数据处理方面需求会更大，但人数需求会减少，这是软件复制特性体现。企业生产自动化和精细化，以及云计算下的...
分类：
其他好文 时间：
2014-09-24 11:46:46
阅读次数：
284
近日，诺贝尔奖得主、美籍华人物理学家丁肇中领导的阿尔法磁谱仪项目，在欧洲核子研究中心公布了最新研究成果，进一步显示暗物质可能存在。这一成果发表在最新一期美国《物理评论快报》上，再次让世界轰动。据了解，丁肇中主持的AMS实验通过收集宇宙射线，依靠云计算和大数据处理，来寻找暗物质留下的证据，其中一个重要...
分类：
其他好文 时间：
2014-09-23 15:31:04
阅读次数：
395
Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。大数据时代的精髓技术在于Hadoop、Yarn、Spark，是大数据时代公司和个人必须掌握和使用的核心内容。Hadoop、Yarn、Spark是Yahoo！、阿里淘宝...
分类：
移动开发 时间：
2014-09-13 17:03:45
阅读次数：
328
来自http://www.xmind.net/m/WvfC/...
分类：
编程语言 时间：
2014-09-13 10:43:55
阅读次数：
196
1. 传递值使用引用传递$a = get_large_array();pass_to_function(&$a);这样是传递变量的引用而不是拷贝2.将大数据存在类的变量中class A{function first(){$this->a = get_large_array();$this->pass...
分类：
Web程序 时间：
2014-09-04 16:39:29
阅读次数：
140
