码迷,mamicode.com
首页 > 系统相关 > 详细

Ubuntu 14.10 下Ganglia监控Spark集群

时间:2015-06-19 16:31:54      阅读:202      评论:0      收藏:0      [点我收藏+]

标签:

        由于Licene的限制,没有放到默认的build里面,所以在官方网站下载的二进制文件中并不包含Gangla模块,如果需要使用,需要自己编译。在使用Maven编译Spark的时候,我们可以加上-Pspark-ganglia-lgpl选项来将Ganglia相关的类打包进spark-assembly-x.x.x-hadoopx.x.x.jar中,命令如下:

./make-distribution.sh --tgz -Phadoop-2.4 -Pyarn -DskipTests Dhadoop.version=2.4.0 -Pspark-ganglia-lgpl

也可以用SBT编译

SPARK_HADOOP_VERSION=2.4.0 SPARK_YARN=true SPARK_GANGLIA_LGPL=true sbt/sbt assembly

 

依赖弄好之后,我们需要在$SPARK_HOME/conf/metrics.properties文件中加入一下配置:

*.sink.ganglia.class=org.apache.spark.metrics.sink.GangliaSink

*.sink.ganglia.host=master

*.sink.ganglia.port=8080

*.sink.ganglia.period=10

*.sink.ganglia.unit=seconds

*.sink.ganglia.ttl=1

*.sink.ganglia.mode=multicast

master.source.jvm.class=org.apache.spark.metrics.source.JvmSource

worker.source.jvm.class=org.apache.spark.metrics.source.JvmSource

driver.source.jvm.class=org.apache.spark.metrics.source.JvmSource

executor.source.jvm.class=org.apache.spark.metrics.source.JvmSource

所有节点都这么配置就行。

配好之后,还是在http://master/ganglia中监控

参考文献:http://www.iteblog.com/archives/1347

       http://www.iteblog.com/archives/1341

Ubuntu 14.10 下Ganglia监控Spark集群

标签:

原文地址:http://www.cnblogs.com/liuchangchun/p/4589016.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!