码迷,mamicode.com
首页 >  
搜索关键字:hadoop shell 自动化部署    ( 42284个结果
Lucene suggest [转]
TheBig Data Zoneis presented bySplunk, the maker of data analysis solutions such asHunk, an analytics tool for Hadoop, and theSplunk Web Framework.Liv...
分类:其他好文   时间:2014-05-08 19:31:55    阅读次数:596
Hadoop-4、Mapred数据去重
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import org.ap...
分类:其他好文   时间:2014-05-08 11:27:24    阅读次数:309
Shell编程
1.shell程序格式 #! /bin/bash 首行#!指定shell编译器 # program 除首行的#外,其他的都表示注释 # read var1 read var2 if[ $var1 -eq $var2 ] then echo "$var1 is equal to $var2" elif...
分类:其他好文   时间:2014-05-08 10:36:56    阅读次数:252
Hadoop-5、排序(Combiner泛谈)
一、Combiner作用1、combiner最基本是实现本地key的聚合,对map输出的key排序,value进行迭代。如下所示:map: (K1, V1) → list(K2, V2)combine: (K2, list(V2)) → list(K2, V2)reduce: (K2, list(V...
分类:其他好文   时间:2014-05-08 09:37:49    阅读次数:472
python subprocess
defgetResult(cmd,timeout=2):#命令超时时间 deadline=time.time()+timeout r=subprocess.Popen(cmd,shell=True,stdout=subprocess.PIPE) whiletime.time()<deadlineandr.poll()isNone: time.sleep(0.1) ifr.poll()isNone:#检查子进程 r.kill() r.wait() return‘‘ r.wait() ..
分类:编程语言   时间:2014-05-07 22:30:17    阅读次数:504
Shell 使用函数输出
分类:其他好文   时间:2014-05-07 22:15:49    阅读次数:425
《鸟哥linux》--第十一章课后习题答案
1.在linux上可以找到哪些shell?哪个档案记录可用的shell?儿linux预设的shell是? 1./bin/bash,/bin/tcsh,/bin/csh 2./etc/shells 3.bash,亦即是/bin/bash2.在shell环境下,有个提示符(prompt),他可以修...
分类:系统相关   时间:2014-05-07 21:08:15    阅读次数:720
hive-mysql安装配置
默认情况下,hive的元数据信息存储在内置的Derby数据中。Facebook将hive元数据存储在关系数据库1、安装好mysql ,sudo apt-get install mysql-server2、创建mysql用户hadoop $mysql-uroot-p 进入root用户 mysql>.....
分类:数据库   时间:2014-05-07 20:40:00    阅读次数:554
Shell编程练习(一)——ping一下
学习了一段时间的shell编程,发现还是比较容易上手的,果然有了一定的C语言基础其他都好办!某天突发奇想,想要用自己学过的shell语言来编写一个脚本,实现查看EI的FTP服务器是否在工作的功能。虽说可以直接登录试试就知道结果,但是也是为了好玩,也是顺便实践一下。PS:能够拿自己刚学会的知识来成功处...
分类:其他好文   时间:2014-05-07 17:06:15    阅读次数:294
shell 进制转换
包括:i.任意进制转化为十进制((num=base#number)) 【base和number必须一致,是同一种进制】ii.十进制转化为任意进制`echo "obase=进制;值"|bc` 和`echo "值 进制 o p"|bc` 【这里的值代表十进制数字】iii.任意进制互转;有了i和ii就可以...
分类:其他好文   时间:2014-05-07 16:40:14    阅读次数:272
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!