#!/bin/bash
#Filename:bingfa.sh
#Time:2016/03/918:59:05
ip=`cat/tmp/iplist`#过滤服务器IP
dir=‘/tmp‘#目标路径
thead_num=10#自定义并发数,根据自身服务器性能或应用调整大小,开始千万别定义太大,避免管理机宕机
tmp_fifo_file="/tmp/$$.fifo"#以进程ID号命名管道文..
分类:
系统相关 时间:
2016-03-10 02:03:54
阅读次数:
365
1 #!/bin/bash 2 3 SEND_THREAD_NUM=13 #设置进程数。 4 tmp_fifofile="/tmp/$$.fifo" # 脚本运行的当前进程ID号作为文件名 5 mkfifo "$tmp_fifofile" # 新建一个随机fifo管道文件 6 exec 6"...
分类:
系统相关 时间:
2015-12-30 17:31:21
阅读次数:
495
遇到ftp到多台机器的问题,等待上一个执行完再执行下一个,时间就会比较长,如果能够同时向多台机器发送文件,就可以达到节约时间的目的。 ? 语法结构 #!/bin/bash …… 循环(for 或者 while) { ?? …...
分类:
编程语言 时间:
2015-09-14 12:35:12
阅读次数:
252
最初业务需求:将文件从ftp下到本地并上传到hdfs,其中ftp到本地和本地到hdfs皆有文件完整性校验,ftp到本地的逻辑由于和业务耦合度较高,因此本文不再叙述,这里仅说一下从本地到hdfs的并发脚本相关说明及代码实现。测试环境:RHEL6.4x86_64/Hadoop2.4.0.2.1.5.0-695部分需求..
分类:
Web程序 时间:
2014-12-14 18:43:33
阅读次数:
275
2年前在蓝汛的时候管理的一个CDN节点,因某些特殊原因,没有采用蓝汛标准的系统管理方法...为了解决日志收集的问题,自己写了一个shell并发的小脚本....有时日志传输会出现一些问题,会产生一些日志堆积,有时上千个~...单进程传输效率实在太底下了..就写了这么一个脚本...主要并发..
分类:
Web程序 时间:
2014-11-26 06:50:16
阅读次数:
191