常用管理命令Hadoop管理员的常用命令。启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.shbalancer运行集群平衡工具。管理员可以简单的按Ctrl-C来停止平衡过程。...
分类：
其他好文 时间：
2014-07-16 23:06:07
阅读次数：
249
既然HDFS 是存取数据的分布式文件系统，那么对HDFS的操作，就是对文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于Linux 的shell 对文件的操作，只是在HDFS中，hadoop fs是主命令，其他像ls,mv,cp都是...
分类：
其他好文 时间：
2014-07-16 23:04:42
阅读次数：
372
HDFS中的NameNode、DataNode、Secondery NameNode是如何在磁盘上组织和存储持久化数据的？下面将分别进行介绍。注意，这里主要介绍的是Hadoop 2.0以前的版本，Hadoop 2.0以后版本文件结构稍微有一些变化，因为目前我们还没有使用hadoop 2.0，所以后面...
分类：
其他好文 时间：
2014-07-12 08:52:04
阅读次数：
544
1、Shell$ExitCodeException
现象：运行hadoop job时出现如下异常：
14/07/09 14:42:50 INFO mapreduce.Job: Task Id : attempt_1404886826875_0007_m_000000_1, Status : FAILED
Exception from container-launch: org.apache....
分类：
其他好文 时间：
2014-07-11 00:24:58
阅读次数：
355
ERROR namenode.NameNode: java.io.IOException: Cannot lock storage /tmp/hadoop-root/dfs/name. The directory is already locked....
分类：
其他好文 时间：
2014-07-11 00:23:43
阅读次数：
362
在执行MR将HDFS转换为HFile的时候，出现了如下异常：
14/07/09 18:02:59 INFO mapred.JobClient: map 83% reduce 0%
14/07/09 18:02:59 INFO mapred.JobClient: Task Id : attempt_201401091245_59030413_m_000001_0, Status : FAILE...
分类：
其他好文 时间：
2014-07-10 23:32:44
阅读次数：
323
Spark1.1发布后会支持Spark SQL CLI ， Spark SQL的CLI会要求被连接到一个Hive Thrift Server上，来实现类似hive shell的功能。...
分类：
数据库 时间：
2014-07-10 21:14:38
阅读次数：
737
一、前期准备
1、创建伪分布Hadoop环境，请参考官方文档。
2、准备数据文件如下sample.txt：
12345679867623119010123456798676231190101234567986762311901012345679867623119010123456+001212345678903456
123456798676231190101234567986762311...
分类：
其他好文 时间：
2014-07-10 19:41:45
阅读次数：
479
1.使用命令行操作1）4个通用命令行<1>archive归档文件的创建用途：由于hadoop的设计是为了处理大数据，理想的数据应该blocksize的倍数。namenode在启动时会将所有的元数据load到内存中当大量小于blocksize的文件存在的时候，，不仅占用了大量的存储空间，也占用了大量的n..
分类：
其他好文 时间：
2014-07-10 18:56:21
阅读次数：
353
最近在研究hadoop时，发现hadoop的版本很混乱。原来的版本都说0.X.X开始，后来发现有1.X.X和2.X.X 这样就不太清楚了。
0.20.2版本以前（不含该版本）的配置文件都在default.xml中。
0.20.x以后的版本不含有eclipse插件的jar包，由于eclipse的版本不一，所以就需要自己编译源码生成对应的插件。
0.20.2——0.22.x版本的配置文件集...
分类：
其他好文 时间：
2014-07-10 17:43:44
阅读次数：
211
