在AWS里用Elastic Map Reduce 开一个Cluster然后登陆master node并编译以下程序：import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
...
分类：
其他好文 时间：
2014-07-22 23:01:32
阅读次数：
405
环境：OS：Centos 6.5 x64 & Soft：Hadoop
1.2.11、查看当前块大小，默认64M。[huser@master hadoop-1.2.1]$ bin/hadoop fs -stat "%o"
./in/test1.txt671088642、修改hdfs-site.conf...
分类：
其他好文 时间：
2014-05-06 08:59:21
阅读次数：
368
控制namenode检查点发生的频率。环境：OS：Centos 6.5 x64 &
Soft：Hadoop 1.2.11、修改core-site.xml，设置参数。 fs.checkpoint.period
1802、重启集群，查看namenode下文件更新频率，每隔180秒更新一次。[huser@...
分类：
其他好文 时间：
2014-05-06 00:26:48
阅读次数：
429
不需要进行格式化，只需在命令提示符中输入如下内容：CONVERT
X:/FS:NTFS把X换成你需要的盘符，转一个盘需十几或几十秒不等。。注意：此方法不可逆转，FAT32转到NTFS后不可转回，当然也没必要转回，一定要转回可以格式化硬盘。
分类：
其他好文 时间：
2014-05-05 21:37:23
阅读次数：
296
Linux下Rsync+inotify-tools实现数据实时同步中有一个重要的配置就是设置Inotify的max_user_watches值，如果不设置，当遇到大量文件的时候就会出现出错的情况。一般网上修改方法就是直接修改文件：/proc/sys/fs/inotify/max_user_watch...
分类：
系统相关 时间：
2014-05-01 21:22:57
阅读次数：
715
void listFiles(){ namespace fs = boost::filesystem;
boost::filesystem::path path=boost::filesystem::current_path();
fs::directory_iterator item_beg...
分类：
其他好文 时间：
2014-05-01 05:23:07
阅读次数：
310
no datanode to stop; no namenode to stop; Bad
connection to FS. command aborted.; 网络时断时许错误;
分类：
其他好文 时间：
2014-04-29 20:35:45
阅读次数：
637
为了方便自己测试和监控，写了三个监控的脚本。 分别监控：
主机【cpu，mem，disk，fs，net】 oracle mysql 脚本如下：hmon.py: monitor Linux os system
including cpu,memory,disk,net,file s...
分类：
数据库 时间：
2014-04-28 01:27:52
阅读次数：
765
