1.filter filter（function,sequence） 对sequence中的item依次执行function（item），将执行的结果为True（符合函数判断）的item组成一个list、string、tuple（根据sequence类型决定）返回。 结果： 2.map 语法与fil ...
分类：
编程语言 时间：
2016-04-09 23:17:49
阅读次数：
260
HBase是ApacheHadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作;HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据..
分类：
其他好文 时间：
2016-04-08 15:33:57
阅读次数：
190
map-reduce 驱动需要消耗大量资源，也费时间。 对于简单查询，hive可以回避使用map-reduce，改用fetch task --hiveconf set hive.fetch.task.conversion=more; 那么对于select * from tab 这种就会很快。 如果有 ...
分类：
其他好文 时间：
2016-04-08 11:46:16
阅读次数：
135
1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 在Hadoop中，用于执行MapReduce任 ...
分类：
其他好文 时间：
2016-04-06 08:12:22
阅读次数：
290
spark与hadoop对比 什么是Spark Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是J ...
分类：
其他好文 时间：
2016-04-05 15:32:35
阅读次数：
692
map:map()方法定义在Array中，传入自己的参数，就得到一个新的Array作为结果 var aqiData = [ ["北京", 90], ["上海", 50], ["福州", 10], ["广州", 50], ["成都", 90], ["西安", 100]]; function box(a ...
分类：
编程语言 时间：
2016-03-27 21:14:32
阅读次数：
393
翻译前言：我在理解复杂事件处理（CEP）方面一直有这样的困惑--为什么这种计算模式是有效的，能够分析得到有用的结果？为什么它会快？我始终还没有找到我期望的答案。不像map-reduce模型，google的论文非常清楚的描述了它的场景；或者disruptor框架，原作者清晰地解释了它为什么会快。在试图... ...
分类：
其他好文 时间：
2016-03-27 13:52:34
阅读次数：
172
一. 什么是Spark？
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需...
分类：
其他好文 时间：
2016-03-18 14:46:44
阅读次数：
318
要点：优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。 理解hadoop的核心能力，是hive优化的根本。 长期观察hadoop处理数据的过程，有几个显著的特征: 1.不怕数据多，就怕数据倾斜。 2．对jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如
分类：
其他好文 时间：
2016-02-26 21:59:40
阅读次数：
274
目的 这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会，比如在HDFS上运行示例程序或简单作业等。 先决条件 支持平台 GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/L
分类：
其他好文 时间：
2016-02-19 20:34:09
阅读次数：
231
