Yarn是为了解决MRv1中JobTracker负载过重，而设计的第二代MR运行架构。yarn是个master/slave结构，master节点运行Resourcemanager，slave节点运行nodemanager。RM主要有两个组件：资源调度器（scheduler）和应用程序管理器（ApplicationsManager）scheduler主要进行资源调度，不进行任何与应用程序相关的动作，
分类：
其他好文 时间：
2019-04-20 15:44:25
阅读次数：
280
1.Hive不存储数据，Hive需要分析计算的数据，以及计算结果后的数据实际存储在分布式系统上，如HDFS上。 2.Hive某种程度来说也不进行数据计算，只是个解释器，只是将用户需要对数据处理的逻辑，通过SQL编程提交后解释成MapReduce程序，然后将这个MR程序提交给Yarn进行调度执行。所以 ...
分类：
数据库 时间：
2019-04-12 10:29:18
阅读次数：
238
一、Hadoop的数据压缩 1.概述 在进行MR程序的过程中，在Mapper和Reducer端会发生大量的数据传输和磁盘IO，如果在这个过程中对数据进行压缩处理，可以有效的减少底层存储(HDFS)读写的字节数，，并且通过减少Map和Reduce阶段数据的输入输出来提升MR程序的速度，提高了网络带宽和 ...
分类：
其他好文 时间：
2019-04-08 10:38:13
阅读次数：
231
先看一下目录结构 这里是job接口，负责参数的传递和定时的调用 下面的图是MR 程序相关的目录图片，其中MR的入口程序负责读取数据，并指定对应的Map、Reduce程序。 程序的流程 首先简单的说一下，整体的流程： 上代码 Job程序： MR入口程序，负责数据的读取，指定对应的Map、Reduce程 ...
分类：
其他好文 时间：
2019-04-05 15:37:47
阅读次数：
116
若干人左对齐站成最多5行，给定每行站多少个，列数从第一排开始往后递减。要求身高从每排从左到右递增（我将题意篡改了便于理解233），每列从前向后递增。每个人身高为1...n(n<=30)中的一个数（互不不同）。求可行方案数。（地址点我qwq）； 做了lyd书dp这一章的第一题，就不会qwq。。果然菜的 ...
分类：
其他好文 时间：
2019-04-04 18:55:08
阅读次数：
267
一、shuffle机制概述 shuffle机制就是发生在MR程序中，Mapper之后，Reducer之前的一系列分区排序的操作。shuffle的作用是为了保证Reducer收到的数据都是按键排序的。 二、shuffle机制的流程 还是按照上个随笔MR整体流程的需求来做参考： 1.Mapper中con ...
分类：
其他好文 时间：
2019-03-29 09:15:54
阅读次数：
178
Description 7月17日是Mr.W的生日，ACM THU为此要制作一个体积为N×π的M层生日蛋糕，每层都是一个圆柱体。 设从下往上数第i(1 Ri+1且Hi Hi+1。 由于要在蛋糕上抹奶油，为尽可能节约经费，我们希望蛋糕外表面（最下一层的下底面除外）的面积Q最小。 令Q = S×π请编程 ...
分类：
其他好文 时间：
2019-03-28 13:41:00
阅读次数：
158
hbase特点及简介： hbase源自于谷歌的三大论文之一 GFS -- hdfs MapReduce - MR BigTable - hbase hbase在以Hadoop为基础的生态圈中的地位 hbase和Hadoop的hdfs结合使用，构建在hdfs上的数据库（hbase为hdfs上的海量的结... ...
分类：
其他好文 时间：
2019-03-26 22:37:59
阅读次数：
191
任意门：http://acm.hdu.edu.cn/showproblem.php?pid=3292 No more tricks, Mr Nanguo Time Limit: 3000/1000 MS (Java/Others) Memory Limit: 65535/32768 K (Java/ ...
分类：
其他好文 时间：
2019-03-17 23:48:07
阅读次数：
229
一、基础配置 1、安装]# yum install -y git 2、配置用户信息配置用户联系方式：名字、email]# git config --global user.name "Mr.Zhang"]# git config --global user.email "zk@qq.com" 配置写 ...
分类：
其他好文 时间：
2019-03-15 12:00:55
阅读次数：
170
