在AWS里用Elastic Map Reduce 开一个Cluster然后登陆master node并编译以下程序：import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
...
分类：
其他好文 时间：
2014-07-22 23:01:32
阅读次数：
405
环境：OS：Centos 6.5 x64 & Soft：Hadoop
1.2.11、查看当前块大小，默认64M。[huser@master hadoop-1.2.1]$ bin/hadoop fs -stat "%o"
./in/test1.txt671088642、修改hdfs-site.conf...
分类：
其他好文 时间：
2014-05-06 08:59:21
阅读次数：
368
控制namenode检查点发生的频率。环境：OS：Centos 6.5 x64 &
Soft：Hadoop 1.2.11、修改core-site.xml，设置参数。 fs.checkpoint.period
1802、重启集群，查看namenode下文件更新频率，每隔180秒更新一次。[huser@...
分类：
其他好文 时间：
2014-05-06 00:26:48
阅读次数：
429
不需要进行格式化，只需在命令提示符中输入如下内容：CONVERT
X:/FS:NTFS把X换成你需要的盘符，转一个盘需十几或几十秒不等。。注意：此方法不可逆转，FAT32转到NTFS后不可转回，当然也没必要转回，一定要转回可以格式化硬盘。
分类：
其他好文 时间：
2014-05-05 21:37:23
阅读次数：
296
前面的话：
这几天写了一个程序，在同一个目录里生成了很多文件，需要统计其中部分文件的总大小，发现经常用到的ls、du等命令都无济于事，我甚至都想到了最笨的方法，写一个脚本：mkdir一个新目录，把要统计总大小的文件mv过去，然后du或者ls
-lh新目录。诚然，这个办法又笨又不精确，于是求助万能的....
分类：
其他好文 时间：
2014-05-04 12:14:30
阅读次数：
307
awk 处理数据时，它会自动从数据文件中一次读取一条记录，并会将该记录切分成一个个的字段；程序中可使用
$1, $2,... 直接取得各个字段的内容。这个特色让使用者易于用 awk 编写 reformatter 来改变数据格式。范例：以数据文件 emp.dat
为例，计算每人应发工资并打印报表。.....
分类：
其他好文 时间：
2014-05-04 12:11:43
阅读次数：
279
Pattern { Action }为awk中最主要的语法。若某Pattern的值为真则执行它后面的
Action。 awk中常使用"关系表达式" (Relational Expression)来当成 Pattern。 awk 中除了>, <,
==, != ,...等关系运算符( Relat...
分类：
其他好文 时间：
2014-05-04 12:05:45
阅读次数：
305
2.1 为什么用AWK
由于awk具有上述特色，在问题处理的过程中，可轻易使用awk来撰写一些小工具；这些小工具并非用来解决整个大问题，它们只扮演解决个别问题过程的某些角色，可通过Shell所提供的pipe将数据按需要传送给不同的小工具进行处理，以解决整个大问题。这种解题方式，使得这些小工具可因不....
分类：
其他好文 时间：
2014-05-04 11:58:55
阅读次数：
286
awk 中除了函数的参数列表(Argument
List)上的参数(Arguments)外，所有变量不管于何处出现，全被视为全局变量。其生命持续至程序结束——该变量不论在function外或
function内皆可使用，只要变量名称相同所使用的就是同一个变量，直到程序结束。因递归函数内部的变量，.....
分类：
其他好文 时间：
2014-05-04 11:49:11
阅读次数：
316
#!/bin/bash#thisscriptisonlyforCentOS6#checktheOSplatform=`uname-i`if[$platform!="x86_64"];thenecho"thisscriptisonlyfor64bitOperatingSystem!"exit1fiecho"theplatformisok"version=`lsb_release-r|awk‘{printsubstr($2,1,1)}‘`if[$version!=6];thenecho"thisscriptiso..
分类：
系统相关 时间：
2014-05-03 14:51:00
阅读次数：
415
