一、shuffle机制概述 shuffle机制就是发生在MR程序中，Mapper之后，Reducer之前的一系列分区排序的操作。shuffle的作用是为了保证Reducer收到的数据都是按键排序的。 二、shuffle机制的流程 还是按照上个随笔MR整体流程的需求来做参考： 1.Mapper中con ...
分类：
其他好文 时间：
2019-03-29 09:15:54
阅读次数：
178
Description 7月17日是Mr.W的生日，ACM THU为此要制作一个体积为N×π的M层生日蛋糕，每层都是一个圆柱体。 设从下往上数第i(1 Ri+1且Hi Hi+1。 由于要在蛋糕上抹奶油，为尽可能节约经费，我们希望蛋糕外表面（最下一层的下底面除外）的面积Q最小。 令Q = S×π请编程 ...
分类：
其他好文 时间：
2019-03-28 13:41:00
阅读次数：
158
hbase特点及简介： hbase源自于谷歌的三大论文之一 GFS -- hdfs MapReduce - MR BigTable - hbase hbase在以Hadoop为基础的生态圈中的地位 hbase和Hadoop的hdfs结合使用，构建在hdfs上的数据库（hbase为hdfs上的海量的结... ...
分类：
其他好文 时间：
2019-03-26 22:37:59
阅读次数：
191
任意门：http://acm.hdu.edu.cn/showproblem.php?pid=3292 No more tricks, Mr Nanguo Time Limit: 3000/1000 MS (Java/Others) Memory Limit: 65535/32768 K (Java/ ...
分类：
其他好文 时间：
2019-03-17 23:48:07
阅读次数：
229
一、基础配置 1、安装]# yum install -y git 2、配置用户信息配置用户联系方式：名字、email]# git config --global user.name "Mr.Zhang"]# git config --global user.email "zk@qq.com" 配置写 ...
分类：
其他好文 时间：
2019-03-15 12:00:55
阅读次数：
170
Problem Description When Mr. B, Mr. G and Mr. M were preparing for the 2012 ACM-ICPC World Final Contest, Mr. B had collected a large set of contest p ...
分类：
其他好文 时间：
2019-03-08 12:45:46
阅读次数：
136
第8章 压缩和存储（Hive高级）8.1 Hadoop源码编译支持Snappy压缩8.1.1 资源准备8.1.2 jar包安装8.1.3 编译源码8.2 Hadoop压缩配置8.2.1 MR支持的压缩编码8.2.2 压缩参数配置8.3 开启Map输出阶段压缩8.4 开启Reduce输出阶段压缩8.5 ...
分类：
其他好文 时间：
2019-02-28 19:54:13
阅读次数：
193
注释： mr job执行流程 mr on yarn架构 yarn架构设计 这三种叫法是同一个问题 1.用户向yarn提交应用程序(job)，其中包括applicationMaster程序、启动applicationMaster命令等 2.RM为该job分配第一个容器，并与对应的NM通信，要求它在这个 ...
分类：
其他好文 时间：
2019-02-28 10:33:49
阅读次数：
177
微软前两天发布了HoloLens 2，给MR开发带来了新的希望，全面的性能和显示效果提升，让人期待。 去年推出的预览版的全新SpectatorView for iOS解决方案，这允许我们直接使用带ARKit的iOS设备实现HoloLens MR场景的共享，以及第三方观察视角，对于演示也是非常方便好用 ...
分类：
移动开发 时间：
2019-02-27 01:27:47
阅读次数：
407
2019/2/18星期一yarn知识体系总结Yarn产生的原因（1）MapreduceV1中，jobtracker存在瓶颈：集群上运行的所有mr程序都有jobtracker来调度SPOF单点故障职责划分不清晰（2）将jobtracker的职责划分成两个部分：?资源调度与管理：由统一的资源调度平台（集群）来实现（yarn）?任务监控与管理：A、每一个application运行时拥有一个自己的任务监控
分类：
其他好文 时间：
2019-02-19 11:54:33
阅读次数：
193
