Ganglia监控Hadoop集群的安装部署

标签：hadoop   ganglia   

Ganglia是UC Berkeley发起的一个开源实时监视项目，用于测量数以千计的节点，为云计算系统提供系统静态数据以及重要的性能度量数据。Ganglia系统基本包含以下三大部分。

Gmond：Gmond运行在每台计算机上，它主要监控每台机器上收集和发送度量数据（如处理器速度、内存使用量等）。

Gmetad：Gmetad运行在Cluster的一台主机上，作为Web Server，或者用于与Web Server进行沟通。

Ganglia Web前端：Web前端用于显示Ganglia的Metrics图表

一、安装环境

Ubuntu 14.04

master:192.168.1.10 slave1:192.168.1.20 slave2:192.168.1.30 salve2:192.168.1.40 slave3:192.168.1.50 slave4:192.168.1.60

安装gmetad的机器：master

安装gmond的机 器：slave1 slave2 slave3 slave4 slave5

浏览监控web页面的机器：master 

二、介绍

三、在ubuntu上安装ganglia

在master虚拟机上，运行以下命令：

sudo apt-get install ganglia-monitor rrdtool gmetad ganglia-webfrontend

在安装过程中，你应该会看到类似下面的安装后与apache2服务器重启选择，直接 Yes，然后按Enter键。

四、Ganglia 主节点配置

所有的配置都在/etc/ganglia目录下，在每个节点上都要配置/etc/ganglia/gmond.conf.

在命令行中输入以下命令：

sudo vim /etc/ganglia/<span style="font-family: monospace; font-size: 14px; line-height: 26px;">gmond</span>.conf

红色字体为修改项。

<span style="font-family: monospace; line-height: 26px; font-weight: normal;"><span style="font-size:18px;">
</span></span>

<span style="font-family: monospace; line-height: 26px; font-weight: normal;"><span style="font-size:18px;">
</span></span>

<span style="font-family: monospace; line-height: 26px; font-weight: normal;"><span style="font-size:18px;">
</span></span>

<span style="font-family: monospace; line-height: 26px; font-weight: normal;"><span style="font-size:18px;">
</span></span>

<span style="font-weight: normal;">globals {
daemonize = yes
setuid = yes
<span style="color:#ff0000;">user = hadoop /*运行Ganglia的用户，我的用户为hadoop*/</span>
debug_level = 0
max_udp_msg_len = 1472
mute = no
deaf = no
host_dmax = 120 
cleanup_threshold = 300 
gexec = no
<span style="color:#ff0000;">send_metadata_interval = 15 /*发送数据的时间间隔*/</span>
}


cluster {
<span style="color:#ff0000;">name = "hadoop" /*集群名称*/</span>
<span style="color:#ff0000;">owner = "nobody" /*运行Ganglia的用户*/</span>
latlong = "unspecified"
url = "unspecified"
}


udp_send_channel {
# mcast_join = <span class="number" style="margin: 0px; padding: 0px; border: none; color: rgb(192, 0, 0); font-family: Consolas, 'Courier New', Courier, mono, serif; line-height: 18px;">239.2</span><span style="margin: 0px; padding: 0px; border: none; font-family: Consolas, 'Courier New', Courier, mono, serif; line-height: 18px;">.</span><span class="number" style="margin: 0px; padding: 0px; border: none; color: rgb(192, 0, 0); font-family: Consolas, 'Courier New', Courier, mono, serif; line-height: 18px;">11.71</span><span style="margin: 0px; padding: 0px; border: none; font-family: Consolas, 'Courier New', Courier, mono, serif; line-height: 18px;"> </span> /*这里不需要更改*/
port = 8649
ttl = 1
}</span>

配置gmetad.conf，在命令行中输入以下命令：

<span style="font-weight: normal;"><span style="font-size:18px;">sudo vim /etc/ganglia/gmetad.conf</span></span>

<span style="font-weight: normal;"><span style="font-size:18px;">data_source "hadoop" master slave1 slave2 slave3 slave4 slave5</span></span>

五、启动&运行

<span style="font-family: monospace; line-height: 26px; font-weight: normal;"><span style="font-size:18px;">sudo /etc/init.d/ganglia-monitor start</span></span><span style="font-weight: normal;"><span style="font-size:18px;"> （每台机器都需要启动）</span></span>

<span style="font-weight: normal;"><span style="font-size:18px;"><span style="font-family: monospace; line-height: 26px;">sudo /etc/init.d/gmetad start</span>（服务端的机器上启动）</span></span>

<span style="font-weight: normal;"><span style="font-family: monospace; line-height: 26px;"><span style="font-size:18px;">sudo /etc/init.d/apache2 restart（服务端启动）</span></span>
</span>

在网上上输入 http://master/ganglia/ 有以下界面显示就表示成功

Ganglia监控Hadoop集群的安装部署

标签：hadoop   ganglia   

原文地址：http://blog.csdn.net/a296777513/article/details/43190509