本周二的时候,涛哥找我,说明了一件事,在安装ganglia的时候,发生的一个问题。在一台suse 10 sp1的服务器上,安装ganglia的一个依赖包,libconfuse.rpm,安装完成之后,执行任何命令都会出现段错误的提示,而且无法再次ssh登录,也无法直接console登录。ssh登录,提...
分类:
系统相关 时间:
2015-11-12 10:03:42
阅读次数:
740
1. 搭建一个测试集群,集群有4台机器,配置集群中每一台机器的/etc/hosts文件: [root@nn .ssh]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomai...
分类:
其他好文 时间:
2015-10-27 17:23:27
阅读次数:
387
[root@hdp159 ambari-web]# brunch watch --server 20 Oct 10:22:43 - info: application started on http://localhost:3333/ 20 Oct 10:22:47 - info: compiled...
分类:
其他好文 时间:
2015-10-20 12:12:26
阅读次数:
240
Ambari-server搭建过程部署环境要求操作系统:centos 5 或 centos 6能够使用yumjdk版本号 1.7官网安装教程https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+1.6.0+from+Pub...
分类:
其他好文 时间:
2015-10-16 15:07:50
阅读次数:
493
在上一步骤,我们已经准备了4台虚拟机,分别是H30,H31,H32,H33。其中H30为我们的Ambari服务器,H31为NameNode服务器,H32,H33为我们的DataNode服务器。 接下来,我们就得准备下这些虚拟机的Linux环境了。
分类:
系统相关 时间:
2015-09-28 14:38:52
阅读次数:
191
1. gmetad 分层;2. rrdcached 缓存;3. 更换 SSD 或者其他快速存储设备,避免使用 HDD 存储; 使用 RAID 等具有大量写入缓存的设备等 如果集群比较小,产生的文件总量也不是很大,则直接使用 RAM 来存储,定期进行备份。4. 使用大块的逻辑卷,避免对一个 rrd.....
分类:
其他好文 时间:
2015-09-26 19:57:54
阅读次数:
462
hbase ganglia 显示器hbase 构造hadoop-metrics2-hbase.properties *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31 *.sink....
分类:
其他好文 时间:
2015-09-25 21:42:23
阅读次数:
230
我们对Hadoop有了初步的认知,得有NameNode,DataNode,NameNode和DataNode可以在一个机器上,但这样效果不好。由于本人的机器只有8G内存,所以这里就创建4个虚拟机一个专门给Ambari使用,一个给NameNode,另外两个给DataNode。 我们开始迈出第一步...
分类:
其他好文 时间:
2015-09-25 11:17:15
阅读次数:
263
一 资源下载ganglia-3.6.0.tar.gzganglia-web-3.6.2.tar.gznagios :http://sourceforge.net/projects/nagios/files/nagios-4.x/nagios-4.1.1/nagios-4.1.1.tar.gz/dow...
分类:
移动开发 时间:
2015-09-15 10:47:21
阅读次数:
2580
前言最近在排查公司Hadoop集群性能问题时,发现Hadoop集群整体处理速度非常缓慢,平时只需要跑几十分钟的任务时间一下子上张到了个把小时,起初怀疑是网络原因,后来证明的确是有一部分这块的原因,但是过了没几天,问题又重现了,这次就比较难定位问题了,后来分析hdfs请求日志和Ganglia的各项监控指标,发现namenode的挤压请求数持续比较大,说明namenode处理速度异常,然后进而分析出是...
分类:
其他好文 时间:
2015-09-13 21:43:11
阅读次数:
386