学些MapRedcue主要是学习它的编程思想，在MR的编程模型中，主要思想是把对数据的运算流程分成map和reduce两个阶段： Map阶段：读取原始数据，形成key-value数据（map方法） Reduce阶段：把map阶段的key-value数据按照相同的key进行分组聚合（reduce方法） ...
分类：
其他好文 时间：
2019-05-19 11:43:12
阅读次数：
126
//将从hbas数据库中用mr读取的数据放入到 hdfs中 注：引入 jar 包 //使用mr 将hbase数据库中的单词计算出来 创建表 wordcount 放入4条数据 在eclipce中 ...
分类：
其他好文 时间：
2019-05-18 18:53:51
阅读次数：
159
传送门 Description 杨先生希望为他的班级拍照。学生将排成一行，每行不超过后面的行，并且行的左端对齐。例如，可以安排12名学生排列（从后到前）5,3,3和1名学生。 此外，杨先生希望每排学生安排高度从左到右减少。此外，学生身高应从后向前减少。想想看，杨先生看到，对于这个12人的例子，至少有 ...
分类：
其他好文 时间：
2019-05-18 09:50:52
阅读次数：
140
package cn.itcast_01_hbase; import java.io.IOException;import java.util.ArrayList;import java.util.List; import org.apache.hadoop.conf.Configuration;i ...
分类：
其他好文 时间：
2019-05-18 09:23:21
阅读次数：
113
配置 Hive On Tez 标签（空格分隔）： hive Tez 部署底层应用 简单介绍 介绍：tez 是基于hive 之上，可以将sql翻译解析成DAG计算的引擎。基于DAG 与mr 架构本身的优缺点，tez 本身经过测试一般小任务在hive mr 的2 3倍速度左右，大任务7 10倍左右，根据 ...
分类：
其他好文 时间：
2019-05-13 22:59:00
阅读次数：
158
1 .ml-auto 2 .mr-auto 因为是在写的一个项目所以把logo隐藏了。 ...
分类：
其他好文 时间：
2019-05-13 16:04:05
阅读次数：
107
1：需要将yarn.cmd替换到hadoop的bin下，因为windows下需要windows的文档格式2：hive如果需要运行mr任务，要使用管理员身份运行3：如果机器资源匮乏yarn无法启动，始终提示节点unhealthy可使用配置降低要求（yarn-site覆盖到hadoop/etc的下面）， ...
分类：
其他好文 时间：
2019-05-11 09:14:57
阅读次数：
97
set mapreduce.map.memory.mb = 4096; set mapreduce.reduce.memory.mb = 4096; ...
分类：
其他好文 时间：
2019-05-09 12:06:39
阅读次数：
131
一.准备工作 1.需求 在wordcount程序中使用自定义combiner 解析mapreduce的流程 2.环境配置 (1)hadoop为本地模式 (2)pom文件代码如下 <dependencies> <dependency> <groupId>org.apache.hadoop</group ...
分类：
其他好文 时间：
2019-05-03 16:45:06
阅读次数：
250
树莓派 Ubuntu mate 16.04 下开启vncserver（自动启动+改分辨率） 参考博文：https://blog.csdn.net/Mr_dhy/article/details/82822439 这里的环境是：树莓派3b 和 Ubuntu 16.04 mate 1.安装 vncserv ...
分类：
系统相关 时间：
2019-05-02 21:39:50
阅读次数：
901
