不多说，直接上代码。 统计出每个年龄段的 男、女 学生的最高分 这里，为了空格符的差错，直接，我们有时候，像如下这样的来排数据。 代码 package zhouls.bigdata.myMapReduce.Gender; import java.io.IOException;import org.a ...
1、加入配置文件到项目源码目录下（src） mapreduce.framework.name yarn 读取配置文件内容，使项目知道向集群提交运行 2、将本项目打包到项目源码目录下（src） 3、在Java代码加入下一句话Configuration conf = new Configuration(... ...
分类：
系统相关 时间：
2016-12-10 13:31:49
阅读次数：
195
环境：VMwareWorkstation8.0 和 Ubuntu14.04 1. 使用三台虚拟机搭建Hadoop集群 2. 一定要在每台机器上配置ssh免密码登录 3. 由于需要给/etc/hosts文件配置3台虚拟机的IP，所以尽量给三台虚拟机设置静态IP。不然即使之前整个集群搭建成功了，但是当某 ...
分类：
其他好文 时间：
2016-12-05 02:18:57
阅读次数：
219
问题1：在DFS Lcation 上不能多文件进行操作： 在Hadoop上的每个节点上修改该文件 conf/mapred-site.xml 增加： <property> <name>dfs.permissions</name> <value>false</value> </property> 关闭权 ...
分类：
其他好文 时间：
2016-12-04 00:07:25
阅读次数：
168
笔者的集群是 HA 模式的( HDFS 和 ResourceManager HA)。在 ” Hadoop-2.5.0-cdh5.3.2 HA 安装＂ 中详细讲解了关于 HA 模式的搭建，这里就不再赘述。但网上直接将关于 HA 模式下的历史服务器的配置资料却很少。 笔者在思考，如果配置在 mapred ...
分类：
其他好文 时间：
2016-12-01 03:09:55
阅读次数：
266
《Distributed Programming With Ruby》Mark Bates Preface: The author was using Java and RMI(remote method invocation) as distributed interface in 2001. T ...
分类：
其他好文 时间：
2016-11-26 21:01:44
阅读次数：
349
官网：http://sqoop.apache.org/ Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中 安装 ...
分类：
其他好文 时间：
2016-11-21 18:59:47
阅读次数：
140
在0.20版本及更早期的系列中，mapred.job.tracker决定了执行MapReduce程序的方式。如果这个配置属性被设置为local(默认值)，则使用本地的作业运行器。运行器在耽搁JVM上运行整个作业。它被设计用来在小的数据集上测试和运行MapReduce程序。如果mapred.job.tracker被设置为用冒..
分类：
其他好文 时间：
2016-11-21 02:16:09
阅读次数：
178
本博文，是在http://blog.csdn.net/u010911997/article/details/44099165 的基础上。感谢原博主！ 问题1：在DFS Lcation 上不能多文件进行操作： 在Hadoop上的每个节点上修改该文件 conf/mapred-site.xml 增加： < ...
1.步骤 1）hadoop -》下载解压 -》修改配置文件 -》hadoop-env JAVA_HOME -》core-site fs.defaultFS hadoop.tmp.dir -》hdfs-site dfs.replication permission -》mapred-site mapr ...
分类：
其他好文 时间：
2016-11-09 11:38:12
阅读次数：
158
