摘要：Hive查询生成多个map reduce job，一个map reduce job又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针对MR中单个步骤的优化， 针对MR全局的优化以及针对整个查询的优化。 一个Hive查询生成多个Ma ...
分类：
数据库 时间：
2016-04-15 11:43:57
阅读次数：
226
所有人都谈论道workflows支持ECMAScript6里出现的令人吃惊的新特性，因此我们很容易忘掉ECMAScript5带给我们一些很棒的工具方法来支持在JavaScript里进行函数编程，这些工具方法我们现在可以使用了。在这些函数方法里主要的是基于JavaScript 数组对象的map()方法 ...
分类：
编程语言 时间：
2016-04-15 02:15:33
阅读次数：
261
前言
首先确保已经搭建好Hadoop集群环境，可以参考《Linux下Hadoop集群环境的搭建》一文的内容。我在测试mapreduce任务时，发现相比于使用Job.setNumReduceTasks(int)控制reduce任务数量而言，控制map任务数量一直是一个困扰我的问题。好在经过很多摸索与实验，终于梳理出来，希望对在工作中进行Hadoop进行性能调优的新人们有个借鉴。本文只针对FileI...
分类：
其他好文 时间：
2016-04-12 17:23:55
阅读次数：
173
一、 1. 1). Indexes reduce the amount of data the server has to examine.2). Indexes help the server avoid sorting and temporary tables.3). Indexes turn ...
分类：
数据库 时间：
2016-04-12 12:38:04
阅读次数：
160
什么是MapReduce？ MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。他极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运 ...
分类：
其他好文 时间：
2016-04-12 00:00:38
阅读次数：
476
1. 设计思路 在MapReduce过程中自带有排序，可以使用这个默认的排序达到我们的目的。 MapReduce 是按照key值进行排序的，我们在Map过程中将读入的数据转化成IntWritable类型，然后作为Map的key值输出。 Reduce 阶段拿到的就是按照key值排序好的<key,val ...
分类：
编程语言 时间：
2016-04-11 11:39:46
阅读次数：
189
Shuffle描述着数据从map task输出到reduce task输入的这段过程。
个人理解：
map执行的结果会保存为本地的一个文件中：
只要map执行 完成，内存中的map数据就一定会保存到本地文件，保存这个文件有个过程 叫做spilll（溢写），如果需要对map的执行结果做 combine 也是在这个时候（溢写执行的时候，写入磁盘之前）做的
reduce怎么接受数据：
...
分类：
其他好文 时间：
2016-04-10 11:34:57
阅读次数：
518
1.filter filter（function,sequence） 对sequence中的item依次执行function（item），将执行的结果为True（符合函数判断）的item组成一个list、string、tuple（根据sequence类型决定）返回。 结果： 2.map 语法与fil ...
分类：
编程语言 时间：
2016-04-09 23:17:49
阅读次数：
260
一、forEach()：接受一个函数作为参数， 对数组中的每个元素使用该函数。 二、every()： 接受一个返回值为布尔类型的函数， 对数组中的每个元素使用该函数。 三、some() ：接受一个返回值为布尔类型的函数， 只要有一个元素使得该函数返回 true，该方法就返回 true。 四、redu ...
分类：
编程语言 时间：
2016-04-08 21:48:00
阅读次数：
282
HBase是ApacheHadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作;HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据..
分类：
其他好文 时间：
2016-04-08 15:33:57
阅读次数：
190
