码迷,mamicode.com
首页 > 其他好文 > 详细

使用Vagrant搭建Hadoop集群踩过的坑

时间:2014-12-09 17:36:40      阅读:250      评论:0      收藏:0      [点我收藏+]

标签:style   blog   http   ar   color   使用   sp   on   div   

最近使用Vagrant搭建了一个有3台主机的Hadoop集群,使用的是Cloudera Manager来管理,最初在我的笔记本上虚拟了4台主机,一台最为cloudera Manager Server,其他几台运行cloudera Manager Agent,在本机运行正常后,发现内存占用太厉害,我打算迁移两台运行Agent的到另外一台工作电脑,于是使用Vagant Package打包,并在另外一台机器上Vagrant Box Add和Vagrant up,启动后,登录cloudera manager管理界面查看,结果发现迁移的两台主机找不到,而不停的刷新页面的话,显示是原来运行Agent的三台机器,除vm-cluster-node1外,另外一个主机刷新一次便在node2,node3和node4之间轮流出现,而不能4台机器同时出现,初步怀疑是因为用node1进行的package,所以agent已经包含为node1的agent配置信息。

bubuko.com,布布扣

于是我运行一下脚本将node3和node4中的agent service都删除了

1 sudo /usr/sbin/service cloudera-scm-agent hard_stop_confirmed
2 sudo apt-get purge cloudera-manager-*
3 sudo apt-get clean 

然后从cloudera manager管理界面重新加入node3和node4,在加入之前,我又把清理掉agent的机器又从新package,希望能以后重复利用

重新加入的过程又很漫长,得下载400多M的manager agent包,能有朋友遇到同样问题吗?如何能够不卸载包,只修改配置使迁移成功??

 

使用Vagrant搭建Hadoop集群踩过的坑

标签:style   blog   http   ar   color   使用   sp   on   div   

原文地址:http://www.cnblogs.com/gujingshui/p/4153403.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!