本文原文出处: http://blog.csdn.net/bluishglc/article/details/44276607 严禁任何形式的转载,否则将委托CSDN官方维护权益!
if [ ! "$STARTUP_TARGET" = "all" -a ! "$STARTUP_TARGET" = "hadoop" -a ! "$STARTUP_TARGET" = "spark" ]
then
echo "STARTUP_TARGET is invalid or not specified!"
exit 1
fi
注意:对于if来说,后面紧跟的“[”实际上是test命令的别名!所以后续的表达式都是test命令的参数,所以才会需要:
否则参数就连在了一起,变成了一个参数!
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
2.修改ls -l的时间格式
vim /etc/profile.d/time_style.sh
add
export TIME_STYLE="+%F %T"
ssh -T root@hdcoe01<<EOF
su -l hive -c "nohup $HIVE_HOME/bin/hive --service metastore -hiveconf hive.log.file=hive-metastore.log -hiveconf hive.log.dir=$HIVE_LOG_DIR>$HIVE_LOG_DIR/hive-metastore.out 2>$HIVE_LOG_DIR/hive-metastore.log &"
su -l hive -c "echo $!|cat>$HIVE_PID_DIR/hive-metastore.pid"
EOF
上述脚本中$!
的值永远是当前主机或者说是本地shell下上一次后台程序的PID,而不可能是前一次推送的hive --service metastore
的PID!
ssh -T root@$NAME_NODE<<EOF
sudo -i -u $HDFS_USER $HADOOP_HOME/bin/hdfs namenode -format -force
EOF
sudo: sorry, you must have a tty to run sudo
此错误需要通过visudo来修改相关配置,若改为:
ssh -T root@$NAME_NODE<<EOF
su -l $HDFS_USER -c "$HADOOP_HOME/bin/hdfs namenode -format -force"
EOF
则没有问题,总结起来:su -l要比sudo -i方便好用!
补充:虽然使用 su很方便,不过缺点是,当我的主机是多人共管的环境时,如果大家都要使用 su 来切换成为 root 的身份,那么每个人都得要知道 root 的口令,这样口令太多人知道可能会流出去,很不妥当呢!怎办?透过 sudo 来处理即可!相对于 su 需要了解新切换的用户口令 (常常是需要 root 的口令), sudo 的运行则仅需要自己的口令即可! 甚至可以配置不需要口令即可运行 sudo 呢!
Well since /var/run is mounted as tmpfs. That means it’s totally empty when your machine boots and it’s meant to be like this to prevent stuff like daemons not starting because of a left-over PID-file.
Startup scripts usually create the directories they need before using them. If you want to store a PID-file either put it in /var/run directly or create a directory before creating the PID-file. This is no place to store data that needs to remain there across reboots.
#!/bin/sh
t()
{
nodeList="$1"
echo ${nodeList[*]}
}
a=(1 2 3)
t ${a[*]}
输出: 1
#!/bin/sh
t()
{
nodeList="$1"
echo ${nodeList[*]}
}
a=(1 2 3)
t "${a[*]}"
输出: 1 2 3
比如:将/etc/yum.repos.d下的CentOS的yum repo文件统一添加bak后缀:
for i in $(ls CentOS-*); do mv $i $i.bak;done
cd /etc/yum.repos.d
for i in $(ls CentOS-*); do mv $i $i.bak;done
wget http://mirrors.163.com/.help/CentOS6-Base-163.repo
id user >&/dev/null
if [$? != 0 ]
then
useradd -s /sbin/nologin $user
fi
上面是一段判断用户是否存在,如果不存在就添加用户的脚本,其中>&/dev/null 等同于 >/dev/null 2>&1 而>/dev/null 2>&1又等同于1>/dev/null 2>&1,它们的意思是一样的,即:将标准输出(也就是代表标准输出的文件1)重定向到/dev/null(即不打印标准输出信息),然后把标准错误输出(也就是代表标准错误输出的文件2)合并(也就是&符号的含义)重定向到标准输出,这样,最终达到的效果或者说是目地为:舍弃命令执行中输出的所有信息(不打印任何信息)!
在POSIX shell中,命令的结果可以通过%>的形式来定义(其中%表示文件描述符:1为标准输出stdout、2为标准错误stderr)!系统默认%值是1,也就是1>,而1>可以简写为>,也就是默认为>。
>&/dev/null
这是对 >/dev/null 2>&1
的一个缩写!
当我们在shell中执行命令的时候,每个进程都和三个打开的文件相联系,并使用文件描述符来引用这些文件。由于文件描述符不容易记忆, shell同时也给出了相应的文件名。下面就是这些文件描述符及它们通常所对应的文件名:
文件 | 文件描述符 |
---|---|
输入文件—标准输入 | 0 |
输出文件—标准输出 | 1 |
错误输出文件—标准错误 | 2 |
系统中实际上有12个文件描述符,但是正如我们在上表中所看到的, 0、1、2是标准输入、
输出和错误。可以任意使用文件描述符3到9。
file=/dir1/dir2/dir3/my.file.txt
我们可以用${}分别替换获得不同的值:
${file#*/}:拿掉第一条/及其左边的字符串:dir1/dir2/dir3/my.file.txt
${file##*/}:拿掉最后一条/及其左边的字符串:my.file.txt
${file#*.}:拿掉第一个. 及其左边的字符串:file.txt
${file##*.}:拿掉最后一个. 及其左边的字符串:txt
${file%/*}:拿掉最后条/及其右边的字符串:/dir1/dir2/dir3
${file%%/*}:拿掉第一条/及其右边的字符串:(空值)
${file%.*}:拿掉最后一个. 及其右边的字符串:/dir1/dir2/dir3/my.file
${file%%.*}:拿掉第一个. 及其右边的字符串:/dir1/dir2/dir3/my
${file:0:5}:提取最左边的5个字节:/dir1
${file:5:5}:提取第5个字节右边的连续5个字节:/dir2
${file/dir/path}:将第一个dir替换为path:/path1/dir2/dir3/my.file.txt
${file//dir/path}:将全部dir替换为path:/path1/path2/path3/my.file.txt
记忆的方法为:
#是去掉左边(在鉴盘上#在$之左边)
%是去掉右边(在鉴盘上%在$之右边)
单一符号是最小匹配﹔两个符号是最大匹配
Unix/Linux下一般比如想让某个程序在后台运行,很多都是使用& 在程序结尾来让程序自动运行。比如我们要运行mysql在后台:
/usr/local/mysql/bin/mysqld_safe –user=mysql &
但是加入我们很多程序并不象mysqld一样做成守护进程,可能我们的程序只是普通程序而已,一般这种程序使用& 结尾,但是如果终端关闭,那么程序也会被关闭。但是为了能够后台运行,那么我们就可以使用nohup这个命令,比如我们有个test.php需要在后台运 行,并且希望在后台能够定期运行,那么就使用nohup:
nohup /root/test.php &
shell中的测试条件有三种:test,[ ]以及(( ))。其中test和[ ]是等价的,”[“实际上只是test命令的一个别名而已!这也是 [ 之后必须有空格的原因。因此将二者归为一类讨论。
[ ]
[ ]的测试对象有三种:
字符串 ,如[ -z str ]
数字,如[ n1 -lt n2 ]
文件,如[ -f filename ]
[ ]内的变量,最好用双引号包括; 中括号内的常量,最好用单引号或双引号包括,例如
if [ -z ${var} ] #可能出错
if [ -z "${var}" ] #最好改成这样
-a(与)和-o(或):进行多重条件的复合测试,如
if [ -n "${var}" -a "${var}" -lt 100 ] #当变量被定义且其值小于100时
取反测试!:对测试条件取反
if [ ! "$?" -eq "0" ] #上一条命令返回值不等于0
1.(( ))作测试条件用时其中可使用类C的数字测试条件,包括
< :小于
> :大于
<= :小于等于
>= :大于等于
== :等于
!= :不等于
2.经测试,(( ))中不能用-a,-o以及!等复合测试
3.(( ))除用作数值测试之外,还可用于变量自增减,如(( var++ ))
原文地址:http://blog.csdn.net/bluishglc/article/details/44276607