码迷,mamicode.com
首页 > 系统相关 > 详细

Shell脚本----安装Hadoop过程小结

时间:2017-07-08 18:42:06      阅读:209      评论:0      收藏:0      [点我收藏+]

标签:kill -0   bsp   产生   没有   节点   secondary   使用   操作   dir   

启动$HADOOP_HOME/bin或者$HADOOP_HOME/sbin下的脚本,shell终端会显示输出信息;

根据输出信息,利用bash -x [script-name]的信息以及脚本本身,可以定位出错误是从什么位置开始的;

以下是在这些过程中,自己遇到的问题,以及是如何解决的;

1.在调用stop-yarn.sh脚本,关闭ResourceManager以及NodeManger的时候,会出现no NodeManager to stop;

  但是自己ssh到自己的slave节点,jps之后仍然显示有NodeManager进程;

  解决如下:

要点一: HADOOP_PID_DIR, 配置该环境变量,会在master节点的该目录下生成NameNode进程的PID文件(文件名的格式由脚本指定),该文件保存着NameNode进程的pid号;同理会在各个slave节点的该目录下生成DataNode进程的PID文件;以及SecondaryNameNode节点;

 YARN_PID_DIR,配置该环境变量,会在master节点的该目录下生成ResourceManager进程的PID文件,同理会在各个slave节点的该目录下生成NodeManager进程的PID文件;

 这两者的默认值为: /tmp;

要点二:  kill进程的时候,根据发出的信号值的不同,对进程的操作不同,比如kill 15 PID与kill 9 PID,在yarn-deamon.sh中:

(stop)
   if [ -f $pid ]; then
      TARGET_PID=`cat $pid`
      if kill -0 $TARGET_PID > /dev/null 2>&1; then  #kill -0 应该是判断进程是否存在
        echo stopping $command
        kill $TARGET_PID             #此处kill默认信号选项为15,term信号
        sleep $YARN_STOP_TIMEOUT
        if kill -0 $TARGET_PID > /dev/null 2>&1; then #发送term信号之后,并sleep之后,查看进程是否仍然存在
          echo "$command did not stop gracefully after $YARN_STOP_TIMEOUT seconds: killing with kill -9"
          kill -9 $TARGET_PID  #发送kill信号,给进程,强行杀死进程;
        fi
      else
        echo no $command to stop
      fi
      rm -f $pid
    else
      echo no $command to stop
    fi
    ;;

要点三:显示no NodeManager to stop; 一种是/tmp目录下的NodeManger的PID文件不存在,一种就是NodeManager的PID文件存在,但是当前没有NodeManager启动;排除后一种情况,因为slave节点仍然有NodeManager进程;可以通过更改这两个环境变量,自己分别指定生成PID的目录;

2. 在一个脚本中,调用另外一个脚本的多种方式:

1 # 不会产生sub-shell(子shell),就在当前进程中加载执行,执行完成后,其生成的变量,仍有效,执行完毕后会返回上一个脚本调用该脚本之后的命令
2 . $path/yarn-config.sh #相当于source, 注意 .与路径之间有空格; 3 4 # 会产生sub-shell,脚本在新建的进程中执行,相当于fork(),exec();其对变量的改变不会反应到父shell;
5 # 父shell在子shell执行完毕之后,仍继续执行 6 $path/yarn-daemon.sh
7 8 #不会产生sub-shell,脚本在当前进程中执行完成之后,退出;不会返回上一个脚本继续执行后面的命令

9 #可以做个试验: exec ls;会发现执行完毕以后,shell就退出了; 10 exec java -cp $path [classname]

3.  bash -x [script-name]

#!/usr/bin/env bash
#hello.class在$HOME目录下

build_command(){
   java -cp $HOME hello
   return 3
}

var=`build_command` ++ build_command
++ java -cp /home/mickeysun hello
++ return 3
+ var=‘Hello World!‘

echo $? + echo 3
3
echo $var + echo Hello ‘World!‘
Hello World!


显示结果如下:
3
Hello World!

分析:
echo $? 显示的是build_command的返回值;
echo $var 显示的是build_command向标准输出中写入的内容;

右边是使用bash -x [script-name],显示的结果如右面所示;

4. CMD=():关于CMD的用法

 

  

6. IFS

7. while condition;do

        cmd

         ...

         cmd

  done < <()

8. read -d ‘‘ -r ARG

9.  $#   $@  shift   $0  $1  $?(在3中已有解释)

#!/usr/bin/env bash
                        #mickeysun@mickeysun:~$ ./test.sh mickey sun name
echo $@              #   mickey sun name
echo $# # 3 echo $0 # ./test.sh
echo $1 # mickey echo $2 # sun shift echo $1 # sun echo $@ # sun name
echo $# # 2

 

 

 

 

 

  

Shell脚本----安装Hadoop过程小结

标签:kill -0   bsp   产生   没有   节点   secondary   使用   操作   dir   

原文地址:http://www.cnblogs.com/sklpool/p/6194407.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!