码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop集群操作常用命令

时间:2018-07-17 14:12:39      阅读:206      评论:0      收藏:0      [点我收藏+]

标签:start   常用命令   命令   article   href   运行   lazy   ons   通过   

一、HDFS相关

1、启动NameNode

 

sbin/hadoop-daemon.sh start namenode

2、启动DataNode
sbin/hadoop-<span style="color:#ff0000;">daemon</span>.sh start datanode
[plain] view plain copy
 
  1. <code class="language-plain">3、启动多个DataNode</code>  
sbin/hadoop-<span style="color:#ff0000;">daemons</span>.sh start datanode
[plain] view plain copy
 
  1. <code class="language-plain">4、一次性启动Namenode和DataNode</code>  
sbin/start-dfs.sh

5、高可用集群NameNode节点切换

hadoop-daemon.sh stop zkfc
hadoop-daemon.sh start zkfc


二、YARN相关
1、启动Resource Manager
sbin/yarn-daemon.sh start resourcemanager
 
2、启动Node Manager
sbin/yarn-daemon.sh start nodemanager
[plain] view plain copy
 
  1. <code class="language-plain">3、启动多个NodeManager</code>  

sbin/yarn-daemons.sh start nodemanager
[plain] view plain copy
 
  1. <code class="language-plain">4、一次性启动ResourceManager 和 所有NodeManager</code>  
sbin/start-yarn.sh

5、启动Job Histroty Server
sbin/mr-jobhistory-daemon.sh start historyserver

三、查看服务
Hadoop主备查询和切换
(1)主备查询
hdfs haadmin -getServiceState nn1
yarn rmadmin -getServiceState rm1    
(2)主备切换
在Hadoop的各种HA中,有个隐藏属性是很多人不知道的,就是强制切换,一般来说,我们通过命令行切换HA,需要去运行
hdfs haadmin -transitionToActive/transitionToStandby nn2
yarn rmadmin -transitionToActive/transitionToStandby rm2
    但是,这种方式在启用了ZKFC做自动失效恢复的状态下是不允许修改的,提示信息里只说了可以强制执行,但是没有提供命令,其实强制切换主备命令很简单。加个forcemanual就好了。
hdfs haadmin -transitionToActive/transitionToStandby nn2 --forcemanual
    但是这样做的后果是,ZKFC将停止工作(我实践发现没停止工作,为啥?),你将不会再有自动故障切换的保障,但是有些时候,这是必须的,特别是有时候,Hadoop的NN在ZKFC正常工作的情况下,也会出现两个standby,两个standby的问题就在于诸如Hive和Pig这种东西,会直接报一个什么 Operation category READ is not supported in state standby 什么什么的,甚至你看着明明一个是active,一个是standby,也会报这个错误,这时候就必须手动强制切换了,强制切换完以后,别忘了重新启动ZKFC就好了。这个强制切换的要求就是用户必须没有任何对元数据的操作,这样才能有效的防止脑裂的发生。应该来说,进入安全模式再切换会比较稳妥一些。
转自https://blog.csdn.net/lazythinker/article/details/47836097

hadoop集群操作常用命令

标签:start   常用命令   命令   article   href   运行   lazy   ons   通过   

原文地址:https://www.cnblogs.com/shizhijie/p/9322716.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!