码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop2.6.0配置參数查看小工具

时间:2018-02-09 20:43:36      阅读:169      评论:0      收藏:0      [点我收藏+]

标签:java代码   添加   默认   yarn   命令   ddd   park   mod   部分   

前言

使用Hadoop进行离线分析或者数据挖掘的project师,常常会须要对Hadoop集群或者mapreduce作业进行性能调优。

或许你知道通过浏览器訪问http://master:18088/conf来查看配置信息。例如以下图所看到的:

技术分享图片


但是当Linuxproject师们仅仅面对命令行时,怎样查看呢?并且假设运维project师依据集群状况及运行历史使用shell、Python、ruby等脚本写些运维代码,甚至动态调整集群參数时,该怎么办呢?性能调优的前提是须要能准确知道眼下针对Hadoop集群或者mapreduce作业配置的參数。在MySQL中能够通过下面命令查询參数值:

SHOW VARIABLES LIKE ‘some_parameter‘
也能够使用下面命令查询參数值:

SELECT @@session.some_parameter
SELECT @@global.some_parameter
或者直接查询information_schema.GLOBAL_VARIABLES得到參数值。

可惜的是Hadoop没有提供相似的方式,这对于在Linux系统下查看參数进而改动參数添加了成本和负担。

虽然我们能够

本文将针对这一需求,基于Hadoop开发一个简单有用的工具查询查看各种參数。

准备工作

首先在Hadoop集群的Master节点的个人文件夹下创建workspace文件夹用于存储开发的Hadoop应用代码,命令例如以下:

mkdir workspace
进入workspace文件夹,開始编辑HadoopConfDisplay.java代码:

技术分享图片
为便于大家使用。我把代码都列出来,这事实上也是借鉴了网上别人的一些内容:

import java.util.Map.Entry;

import org.apache.hadoop.conf.*;
import org.apache.hadoop.util.*;

public class HadoopConfDisplay extends Configured implements Tool {

  static {
    Configuration.addDefaultResource("core-site.xml");
    Configuration.addDefaultResource("hdfs-site.xml");
    Configuration.addDefaultResource("mapred-site.xml");
    Configuration.addDefaultResource("yarn-site.xml");
  }

  @Override
  public int run(String[] args) throws Exception {
    Configuration conf = getConf();
    for (Entry<String, String> entry: conf) {
      System.out.printf("%s=%s\n", entry.getKey(), entry.getValue());
    }
    return 0;
  }

  public static void main(String[] args) throws Exception {
    int exitCode = ToolRunner.run(new HadoopConfDisplay(), args);
    System.exit(exitCode);
  }
}

在Hadoop的根文件夹下创建myclass,此文件夹用于存储个人开发的Hadoop应用代码编译后的class或者jar包。我本地的文件夹为/home/jiaan.gja/install/hadoop-2.6.0/myclass/

因为HadoopConfDisplay中使用了hadoop-common-2.6.0.jar中的类。所以编译HadoopConfDisplay.java时须要指定classpath。同一时候将编译后的class输出到/home/jiaan.gja/install/hadoop-2.6.0/myclass/文件夹下。运行命令例如以下:

技术分享图片

进入myclass文件夹,将编译好的HadoopConfDisplay的class打到jar包里:

jar cvf mytest.jar *
运行步骤例如以下:

技术分享图片

成果验证

经过以上准备。终于我们生成了mytest.jar包文件。如今到了验证输出Hadoop配置參数的时候。

输入下面命令:

hadoop jar mytest.jar HadoopConfDisplay
输出结果例如以下图:

技术分享图片

因为參数的确非常多,这里仅仅展示了当中的一部分信息。

这里显示的信息虽然非常多,但是会发现非常多參数并没有包含进来。比方:

mapreduce.job.ubertask.enable

mapreduce.job.ubertask.maxreduces

mapreduce.job.ubertask.maxmaps

完好

? ? 还记得本文刚開始说的通过web界面查看Hadoop集群參数的内容吗?我在我个人搭建的集群(有关集群的搭建能够參照《Linux下Hadoop2.6.0集群环境的搭建》)上訪问http://master:18088/conf页面时,能够找到以上缺失的參数例如以下所看到的:

<configuration>
  <property>
    <name>mapreduce.job.ubertask.enable</name>
    <value>false</value>
    <source>mapred-default.xml</source>
  </property>
  <!-- 省略其他參数属性 -->
  <property>
    <name>mapreduce.job.ubertask.maxreduces</name>
    <value>1</value>
    <source>mapred-default.xml</source>
  </property>
  <!-- 省略其他參数属性 -->
  <property>
    <name>mapreduce.job.ubertask.maxmaps</name>
    <value>9</value>
    <source>mapred-default.xml</source>
  </property>
  <!-- 省略其他參数属性 -->
</configuration>
从以上内容我们能够看见缺失的參数都配置在mapred-default.xml中,而我之前编写的HadoopConfDisplay类的代码中并未包含此配置。此外。未包含进来的配置文件还有yarn-default.xml、core-default.xml(说明Hadoop參数默认是从*-default.xml的几个文件里读取的

最后我们将这些内容也编辑进去,代码例如以下:

import java.util.Map.Entry;

import org.apache.hadoop.conf.*;
import org.apache.hadoop.util.*;

public class HadoopConfDisplay extends Configured implements Tool {

  static {
    Configuration.addDefaultResource("core-default.xml");
    Configuration.addDefaultResource("yarn-default.xml");
    Configuration.addDefaultResource("mapred-default.xml");
    Configuration.addDefaultResource("core-site.xml");
    Configuration.addDefaultResource("hdfs-site.xml");
    Configuration.addDefaultResource("mapred-site.xml");
    Configuration.addDefaultResource("yarn-site.xml");
  }

  @Override
  public int run(String[] args) throws Exception {
    Configuration conf = getConf();
    for (Entry<String, String> entry: conf) {
      System.out.printf("%s=%s\n", entry.getKey(), entry.getValue());
    }
    return 0;
  }

  public static void main(String[] args) throws Exception {
    int exitCode = ToolRunner.run(new HadoopConfDisplay(), args);
    System.exit(exitCode);
  }
}

最后我们依照之前的方式编译打包为mytest.jar。再运行命令验证的结果例如以下图所看到的:
技术分享图片

之前缺失的參数都出来了,呵呵!

这下大家能够愉快的进行性能调优了。


后记:个人总结整理的《深入理解Spark:核心思想与源代码分析》一书如今已经正式出版上市。眼下京东、当当、天猫等站点均有销售,欢迎感兴趣的同学购买。


技术分享图片

京东(现有满150减50活动))http://item.jd.com/11846120.html?

当当:http://product.dangdang.com/23838168.html?


Hadoop2.6.0配置參数查看小工具

标签:java代码   添加   默认   yarn   命令   ddd   park   mod   部分   

原文地址:https://www.cnblogs.com/llguanli/p/8436348.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!