码迷,mamicode.com
首页 > 其他好文 > 详细

rsync同步工具和xsync、xcall集群脚本

时间:2018-10-05 17:17:22      阅读:2940      评论:0      收藏:0      [点我收藏+]

标签:oca   hadoop   选项   命令参数   复制文件   修改   oop   主机   use   

rsync

rsync 远程同步工具,主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync 和 scp 区别:用 rsync 做文件的复制要比 scp 的速度快,rsync 只对差异文件做更新。scp 是把所有文件都复制过去。

(1) 查看rsync 使用说明

man rsync | more

(2) 基本语法

rsync -rvl   $pdir/$fname      $user@hadoop$host:$pdir

命令 命令参数 要拷贝的文件路径/名称   目的用户@主机:目的路径选项

-r 递归

-v 显示复制过程

-l 拷贝符号连接

(3) 案例实操

把本机/opt/tmp 目录同步到 hadoop03 服务器的 root 用户下的/opt/tmp 目录

 rsync -rvl /opt/tmp  root@hadoop03:/opt/

 

编写集群分发脚本 xsync

 

1)  需求分析:循环复制文件到所有节点的相同目录下。

(1) 原始拷贝:

rsync  -rvl  /opt/module   root@hadoop03:/opt/

(2) 期望脚本:

xsync  要同步的文件名称

(3) 在/usr/local/bin 这个目录下存放的脚本,可以在系统任何地方直接执行。

2)  案例实操:

(1)   在/usr/local/bin 目录下创建 xsync 文件,文件内容如下:

  [root@hadoop02 bin]# touch xsync

  [root@hadoop02 bin]# vi xsync

#!/bin/bash

#1 获取输入参数个数,如果没有参数,直接退出

pcount=$# if((pcount==0)); then echo no args;

exit; fi

#2 获取文件名称p1=$1 fname=`basename $p1` echo fname=$fname


#3 获取上级目录到绝对路径pdir=`cd -P $(dirname $p1); pwd` echo pdir=$pdir

#4 获取当前用户名称

user=`whoami`
 #5 循环

 for((host=103; host<105; host++)); do

 #echo $pdir/$fname $user@hadoop$host:$pdir echo --------------- hadoop$host ----------------

 rsync -rvl $pdir/$fname $user@hadoop$host:$pdir

 done

 

  

 

(2)修改脚本 xsync 具有执行权限

[root@hadoop102 bin]# chmod 777 xsync

[root@hadoop102 bin]# chown dy:dy -R xsync

(3)调用脚本形式:xsync 文件名称

[root@hadoop02 opt]$ xsync tmp/

 

编写集群操作脚本 xcall

1)      需求分析:在所有主机上同时执行相同的命令xcall +命令

2)      具体实现

(1)在/usr/local/bin 目录下创建 xcall 文件,文件内容如下:

 [root@hadoop102 bin]# touch xcall

 [root@hadoop102 bin]# vi xcall

#!/bin/bash pcount=$# if((pcount==0));then

echo no args; exit;

fi

 

echo -------------localhost----------

$@

for((host=101; host<=108; host++)); do echo ----------hadoop$host---------

ssh hadoop$host $@

done

(2)修改脚本 xcall 具有执行权限

[root@hadoop02 bin]# chmod 777 xcall

[root@hadoop02 bin]# chown dy:dy xcall

(3)调用脚本形式: xcall 操作命令

[root@hadoop02 ~]# xcall rm -rf /opt/tmp/

rsync同步工具和xsync、xcall集群脚本

标签:oca   hadoop   选项   命令参数   复制文件   修改   oop   主机   use   

原文地址:https://www.cnblogs.com/yimting/p/9745022.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!