一、写在之前的 1.1 回顾Map阶段四大步骤 首先，我们回顾一下在MapReduce中，排序和分组在哪里被执行： 从上图中可以清楚地看出，在Step1.4也就是第四步中，需要对不同分区中的数据进行排序和分组，默认情况下，是按照key进行排序和分组。 1.2 实验场景数据文件 在一些特定的数据文件中 ...
分类：
编程语言 时间：
2017-11-03 12:50:49
阅读次数：
314
一、MapReduce中有哪些常见算法 （1）经典之王：单词计数 这个是MapReduce的经典案例，经典的不能再经典了！ （2）数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。 ...
分类：
编程语言 时间：
2017-11-03 12:50:26
阅读次数：
248
开篇：Hadoop是一个强大的并行软件开发框架，它可以让任务在分布式集群上并行处理，从而提高执行效率。但是，它也有一些缺点，如编码、调试Hadoop程序的难度较大，这样的缺点直接导致开发人员入门门槛高，开发难度大。因此，Hadop的开发者为了降低Hadoop的难度，开发出了Hadoop Eclips ...
分类：
系统相关 时间：
2017-11-03 11:13:57
阅读次数：
283
一、神马是高大上的MapReduce MapReduce是Google的一项重要技术，它首先是一个编程模型，用以进行大数据量的计算。对于大数据量的计算，通常采用的处理手法就是并行计算。但对许多开发者来说，自己完完全全实现一个并行计算程序难度太大，而MapReduce就是一种简化并行计算的编程模型，它 ...
分类：
其他好文 时间：
2017-11-03 11:11:29
阅读次数：
227
一、测试数据：手机上网日志 1.1 关于这个日志 假设我们如下一个日志文件，这个文件的内容是来自某个电信运营商的手机上网日志，文件的内容已经经过了优化，格式比较规整，便于学习研究。 该文件的内容如下（这里我只截取了三行）： 1363157993044 18211575961 94-71-AC-CD- ...
分类：
移动开发 时间：
2017-11-03 11:04:57
阅读次数：
242
一、RPC基础概念 1.1 RPC的基础概念 RPC，即Remote Procdure Call，中文名：远程过程调用； （1）它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。因此，它经常用于分布式网络通信中。 RPC协议假定某些传输协议的存在 ...
分类：
其他好文 时间：
2017-11-03 11:02:42
阅读次数：
150
表1表2的join和表3表4的join同时运行 此法需要关注是否有数据倾斜（大量数据集中在某一区间段） ...
分类：
其他好文 时间：
2017-11-01 17:50:23
阅读次数：
149
dfs.datanode.handler.count默认为3，大集群可以调整为10 传统MapReduce和yarn对比 如果服务器物理内存128G，则容器内存建议为100比较合理 配置总量时考虑系统调优块，双路四核2*4*2=16g，则总量设置为10到12比较合适，需要预留空间给其他服务器 需要给 ...
分类：
其他好文 时间：
2017-11-01 16:27:00
阅读次数：
142
1. MapReduce的流程图（摘自马士兵老师视频），我们开发的就是其中的这两个（红框）过程。简述一下这个图，input就是我们需要处理的文件（datanode上文件的一个分块）；Split就是将这个文件进行拆分，默认的就是按照行来拆分，拆分的结果是一个key-value对，key是这一行起始的位 ...
分类：
编程语言 时间：
2017-09-30 11:29:03
阅读次数：
195
开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技 ...
分类：
其他好文 时间：
2017-08-26 20:39:38
阅读次数：
200
