码迷,mamicode.com
首页 >  
搜索关键字:hadoop shell 自动化部署    ( 42284个结果
05 引用-引号
引号的特殊效果就是, 保护字符串中特殊字符不被shell或者shell脚本重新解释或扩展(这里所说的”特殊”指的是一些字符在shell中具有特殊意义, 例如*)ls –l [vV]"*ls –l ‘[vV]*’我们使用引号来引用一个字符串, 目的是保护它的字面含义.特定的工具或程序可以重新解释在引号...
分类:其他好文   时间:2014-05-12 16:20:58    阅读次数:235
修改HDFS块大小
环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、查看当前块大小,默认64M。[huser@master hadoop-1.2.1]$ bin/hadoop fs -stat "%o" ./in/test1.txt671088642、修改hdfs-site.conf...
分类:其他好文   时间:2014-05-06 08:59:21    阅读次数:368
nagios监控流量脚本
需求是我们需要对服务器上的流量进行监控,网络上有个流传的check_traffic.sh,它需要被监控机开启snmp。但是感觉都使用上了nagios还要开snmp。。。有点斧子剪刀一起用的感觉,所以就动手写了个监控流量的shell:#!/bin/shusage() { echo "Usage: $0...
分类:移动开发   时间:2014-05-06 08:46:56    阅读次数:361
secondary namenode和namenode分离
namenode 和 secondaryNamenode 运行在同一机器上,分离配置到新节点上。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1master中的配置不是决定谁是namenode,而是决定谁是secondarynamenode。决定谁是namenode的...
分类:其他好文   时间:2014-05-06 01:08:13    阅读次数:388
Hadoop集群实施成功后,再次格式化名称节点
Hadoop集群实施成功后,再次格式化名称节点。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、格式化之前hadoop集群正常。[huser@master hadoop-1.2.1]$ jps7927 SecondaryNameNode7773 NameNode8...
分类:其他好文   时间:2014-05-06 00:52:59    阅读次数:491
怎样控制namenode检查点发生的频率
控制namenode检查点发生的频率。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、修改core-site.xml,设置参数。 fs.checkpoint.period 1802、重启集群,查看namenode下文件更新频率,每隔180秒更新一次。[huser@...
分类:其他好文   时间:2014-05-06 00:26:48    阅读次数:429
cygwin
在windows下通过安装cygwin模拟linux环境,然后再安装hadoop,是一种简单方便的方式。为hadoop准备的windows下cygwin环境安装过程如下: - 下载安装文件 最新的cygwin安装文件setup.exe下载地址在这里:http://cygwin.com/install.html。用最新版本的cygwin就可以,我用的是2.774版本的安装程序。 - 安装cyg...
分类:Windows程序   时间:2014-05-05 13:10:02    阅读次数:536
Hadoop 2.2 配置安装
centos 配置hadoop 2.2. 非常全面...
分类:其他好文   时间:2014-05-03 16:39:17    阅读次数:369
对shell的简单认识
shell是一个命令解释器;shell分为交互式shell和非交互式shell; 交互式shell就是命令行一问一答;非交互式shell是像shell文本那样,一次解析文本, 并未在命令行给我们作出回答。shell又分为登陆式shell和非登录式shell; 主要区分于是否输入用户名和密码,输入用户...
分类:其他好文   时间:2014-05-02 15:08:13    阅读次数:256
通过secondary namenode恢复崩溃的namenode
模拟namenode崩溃,将name目录的内容全部删除,然后通过secondary namenode恢复namenode。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、进入name目录下,删除name目录内容。[huser@master name]$ pwd/h...
分类:其他好文   时间:2014-05-02 14:44:28    阅读次数:517
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!