实验环境如下图所示1.上图中三台机器均为rhel5.8x86_64,三台机器IP地址和主机名已按上图设置完毕2.各软件版本如下◆.confuse-2.7.tar.gz◆.ganglia-3.2.0.tar.gz◆.rrdtool-1.4.5.tar.gz3.管理节点(admin),hosts文件已添加完毕，如下所示192.168.10.11admin192.168.10.100node1..
分类：
其他好文 时间：
2015-04-16 14:28:45
阅读次数：
272
概述
说到对Hadoop和 HBase的集群监控，大家知道的和用的最多的可能还是第三方的监控工具，cacti，ganglia，zabbix之类的。玩的深一些的，会用 zenoss之类的。这些工具确实不错，也能发挥很大的作用，但时间长了总感觉监控粒度还是比较粗，不够详细。毕竟是第三方的监控，即便Hadoop自带 了ganglia的接口，也还是觉得不够。
其实Hadoop本身是带有监控接口的，...
分类：
其他好文 时间：
2015-04-09 23:51:12
阅读次数：
513
Hadoop简介:
分布式、可扩展、可靠的、分布式计算框架。
组件：
common：公共组件
hdfs：分布式文件系统
yarn：运行环境
mapreduce：mr计算模型
生态系统：
Ambari:操作界面
avro：通用的序列化机制、与语言无关
cassandra:数据库
chukwa：数据收集系统
hbase:分布式大表数据库
hive：基于sql的分析系统
matout：机器学习算法库
pi...
分类：
其他好文 时间：
2015-04-05 11:59:31
阅读次数：
234
Agent是Ambari一个核心模块，主要负责在集群节点上执行命令（install/start/stop）和上报状态(liveness/progress/alert)。要理解实现细节甚至修改源代码，首先要有总体宏观的认识。笔者粗略浏览了一下Agent代码，认为可以从三大基本抽象入手，来描绘总体的概览。抽象Agent定义了三个基本抽象，也是三个抽象类：Resource表示Agent可操作的对象，每个R...
分类：
其他好文 时间：
2015-04-01 23:50:43
阅读次数：
218
(lnmp平台)系统环境: rhel6 x86_64 iptables and selinux disabled主机: 192.168.122.185 server85.example.com 192.168.122.117 server17.example.com (注：时间需同步)相关网址: r...
分类：
移动开发 时间：
2015-03-31 17:30:18
阅读次数：
685
常见开源监控软件nagios,cacti,zabbix,ganglia,openNMS。这里就不多说,接下来我们做的是nagios的变种icinga,他们互相兼容，只是icinga被汉化了。一.准备工作:1.两台虚拟机或服务器,一台监控端,一台被监控端.这里我们定义监控端ip为192.168.137.250,hostname:server被监控端ip为..
分类：
其他好文 时间：
2015-03-19 16:39:05
阅读次数：
267
一、rrdtool安装1.1 安装依赖包由于rrdtool依赖的包比较多，而且包之间也存在依赖，故使用yum安装由于服务器无法联网，故使用iso文件创建本地yum源，方法见下：（1）创建iso存放目录和挂载目录mkdir /mnt/iso mkdir /mnt/cdrom（2）将iso镜像文件上传到...
分类：
其他好文 时间：
2015-03-19 16:08:04
阅读次数：
303
参考来源:1.http://yhz.me/blog/Install-Ganglia-On-CentOS.html2.http://blog.csdn.net/sdlyjzh/article/details/26560585安装基本的php,curl,尽量装吧,相关的都安装好.更新源yum insta...
分类：
其他好文 时间：
2015-03-13 15:56:21
阅读次数：
140
Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra,...
分类：
其他好文 时间：
2015-03-13 12:28:34
阅读次数：
218
上古十大神器之一天机镜：天机镜又名昆仑镜。昆仑山西王母所有，能洞察天机，知晓古今！1. 动机 在业务系统开发的前期，我们往往只专注到业务逻辑，而忽略了对系统本身的监控。 对硬件资源的监控运维同学提供的ganglia以及ZENOSS 能很好的满足我们的需求，监控机器的磁盘、cpu负载，内存，load....
分类：
其他好文 时间：
2015-03-12 22:32:24
阅读次数：
216
