码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop 基准测试与example

时间:2015-12-10 23:54:11      阅读:542      评论:0      收藏:0      [点我收藏+]

标签:

#pi值示例
hadoop jar /app/cdh23502/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.3.0-cdh5.0.2.jar pi 20 200
#生成数据 第一个参数是行数 第二个参数是位置
hadoop jar /app/cdh23502/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.3.0-cdh5.0.2.jar teragen 1000000 /teradata
#指定了使用的map数,默认是2个
hadoop jar /app/cdh23502/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.3.0-cdh5.0.2.jar teragen -Dmapred.map.tasks=10 1000000 /terasort
#测试排序的功能
hadoop jar /app/cdh23502/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.3.0-cdh5.0.2.jar terasort  /teradata /terasortout
#测试HDFS 写文件基准测试
hadoop jar /app/cdh23502/share/hadoop/mapreduce2/hadoop-mapreduce-client-jobclient-2.3.0-cdh5.0.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 100

现在使用的这个版本是hadoop-2.3cdh5.0.2

在执行任务的时候,发现nodemanager里面有很多container明明是成功完成的,但是在前面还是会产生类似container被appmaster killed , exit with non zero code 143

这样的日志,让我非常疑惑,在web ui的页面也是能看到这样的,但整个任务跑完之后在web页面就看不到了。

后来在网上搜索,发现这是yarn的一个bug.

关于如何打补丁的学习,使用patch命令打补丁,patch需要安装。

然后重新编译模块,然后替换相关的jar包即可。

Hadoop 基准测试与example

标签:

原文地址:http://www.cnblogs.com/huaxiaoyao/p/5037516.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!