码迷,mamicode.com
首页 >  
搜索关键字:hadoop shell 自动化部署    ( 42284个结果
python经典例子
http://wangwei007.blog.51cto.com/68019/1106735检查Linux系统日志error和mysql错误日志的脚本http://wangwei007.blog.51cto.com/68019/1102836picklehttp://wangwei007.blog.51cto.com/68019/1045577python用zipfile模块打包文件或是目录、解压zip文件实例http://blog.163.co..
分类:编程语言   时间:2014-05-27 04:14:22    阅读次数:434
linux下自动ftp到服务器对比拷贝指定目录下文件
#!/bin/bash process=8 PWD=`pwd` DAT=`date` ftpip="192.168.1.1" user="ftp_username" password="ftp_password" local_dir="/home/" getlist() { ftp-n$ftpip<<EOF|awk‘{print$9}‘|sed‘/^$/d‘>$PWD/list user$user$password cdfile/ dir bye EOF } copy() { if[-f$P..
分类:系统相关   时间:2014-05-27 03:55:34    阅读次数:378
python模块paramiko的上传下载和远程执行命令
#!/usr/bin/python #-*-coding:utf-8-*- importparamiko,os,datetime server_ip=‘192.168.1.123‘ server_user=‘root‘ server_passwd=‘10241010‘ server_port=22 #local_dir=‘C:\Python27‘ #remote_dir=‘/soft2/nba/‘ defssh_connect(): ssh=paramiko.SSHClient() ssh.set_missi..
分类:编程语言   时间:2014-05-27 03:51:40    阅读次数:283
关于login/interactive/no-interactive shell和profile/bash_profile/bashrc
login shell:第一次登录进系统时的shell,一般是指本机启动时的控制台shell或者ssh远程登录时的shell。interactive shell:登录以后,再打开控制台时运行的shell。none interactive shell:只是用来执行脚本的shell,执行完就结束进程了,...
分类:其他好文   时间:2014-05-23 08:52:18    阅读次数:313
Linux管道及IO重定向小练习
1.统计/usr/bin目录下的文件个数[root@localhost~]#ls/usr/bin|wc-l 1306 [root@localhost~]#2.取出当前系统上所有用户的SHELL,要求,每种SHELL只显示一次,并且按顺序进行显示[root@localhost~]#cut-d:-f7/etc/passwd|sort-u /bin/bash /bin/nologin /bin/sync /bin/tcsh /sb..
分类:系统相关   时间:2014-05-21 02:01:09    阅读次数:530
sqoop-1.99.3-bin-hadoop200
因为用的hadoop2.20所以下载sqoop-1.99.3-bin-hadoop200使用随便找一个hadoopnode节点做sqoopserver:1.下载安装[hadoop@slave1~]$wgethttp://mirror.bit.edu.cn/apache/sqoop/1.99.3/sqoop-1.99.3-bin-hadoop200.tar.gz[hadoop@slave1~]$tarxvfsqoop-1.99.3-bin-hadoop200.tar...
分类:其他好文   时间:2014-05-21 00:01:45    阅读次数:439
记一则罕见的hive字段值异常引起map阶段的OOM
前段时间遇到了一个很诡异的发生的Map阶段的OOM异常,花了些时间才找到原因,这个简要记录一下。先看log。节点一的TaskTracker的log:节点二的TaskTracker的log:节点三的TaskTracker的log:其他节点的TaskTracker中的log都和slave4的一样的:故障分析:OOM是一个比较常见的故..
分类:其他好文   时间:2014-05-20 22:15:47    阅读次数:422
13_Shell语言———语言控制结构之for循环语句
一、语言控制结构概述在前文中(4_Shell语言———脚本概述)介绍过面向过程的编译语言,其控制结构主要有以下三种:a)顺序执行:默认法则:一句一句逐行执行;b)选择执行:进行条件判断,只有部分是符合条件的,故只执行符合条件的部分;条件判断通常采用布尔测试:即判断条..
分类:其他好文   时间:2014-05-20 21:16:09    阅读次数:434
datastage 分析日志获取表记录条数
DataStage通过分析日志获取Job插入目标表的记录数这只是一种不太好的方法,也许还有更好、更简便的方法。这种方法要求每次运行Job之前删除已有的日志信息,否则无法统计出正确的记录数。当然,在Job跑完之后,可以在shell备份本次Job运行的日志到服务器磁盘。1日志清理设置登录..
分类:其他好文   时间:2014-05-20 18:21:01    阅读次数:422
python监测硬盘使用率
python获得磁盘剩余空间statvfs:>>>importos >>>importstatvfs >>>vfs=os.statvfs("/home") >>>vfs (4096,4096,70959944,70058799,66396080,73269248,73234981,73234981,0,255) >>>dir(statvfs) [‘F_BAVAIL‘,‘F_BFREE‘,‘F_BLOCK..
分类:编程语言   时间:2014-05-20 18:14:07    阅读次数:363
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!