本Hadoop与HBase集群有1台NameNode, 7台DataNode
1. /etc/hostname文件
NameNode:
node1
DataNode 1:
node2
DataNode 2:
node3
.......
DataNode 7:
node8
2. /etc/hosts文件
N...
分类：
其他好文 时间：
2014-05-10 04:55:08
阅读次数：
386
1. Hadoop中遇到的问题
以前所遇到的问题由于没有记录,所以忘了
(1)NameNode没有启动成功, 是由于你对HDFS多次格式化,导致datanode中与namenode中的VERSION文件中的namespaceID不一致(对于NameNode节点,该文件位于hdfs-site配置文件中dfs.name.dir参数所指定的路径下的current文件夹中, 对于DataNode节点...
分类：
其他好文 时间：
2014-05-10 04:28:25
阅读次数：
475
0、oozie只需安装在一台服务器上，这里选择在namenode上来安装；安装用户为cloud-user1、安装Oozie包：
sudo yum install -y oozie
oozie-client2、对于yarn来说，需要修改/etc/oozie/conf/oozie-env.sh中： CA...
分类：
其他好文 时间：
2014-05-09 15:42:15
阅读次数：
580
1、前提条件：
只需要选择一台服务器即可，这里选择安装在namenode上；安装用户为cloud-user2、安装包： sudo yum install -y hive
hive-metastore hive-server23、安装mysql： sudo yum install -y mysq...
分类：
其他好文 时间：
2014-05-09 15:38:16
阅读次数：
512
1、架构准备： namenode 10.0.0.2 secondnamenode 10.0.0.3
datanode1 10.0.0.4 datanode2 10.0.0.6 datanode3
10.0.0.112、安装用户：cloud-user3、[namenode]namenod...
分类：
其他好文 时间：
2014-05-08 23:27:27
阅读次数：
693
这里介绍一下hadoop的组成， hadoop主要由两部分组成，，一个是hdfs，另一个是mapreduce
这两个部分在hadoop 2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本中有了一个新名字yarn.
dfs 主要用来启动 namenode 和 datanode， namenode既是是传说中的matser, datanod...
分类：
其他好文 时间：
2014-05-07 04:33:35
阅读次数：
359
集群安装配置Hadoop
集群节点：node4、node5、node6、node7、node8。具体架构：
node4
Namenode,secondnamenode,jobtracker
node5
Datanode,tasktracker
node6
Datanode,tasktracker...
分类：
其他好文 时间：
2014-05-07 02:52:47
阅读次数：
361
控制namenode检查点发生的频率。环境：OS：Centos 6.5 x64 &
Soft：Hadoop 1.2.11、修改core-site.xml，设置参数。 fs.checkpoint.period
1802、重启集群，查看namenode下文件更新频率，每隔180秒更新一次。[huser@...
分类：
其他好文 时间：
2014-05-06 00:26:48
阅读次数：
429
1.核心 HDFS 分布式文件系统 主从结构，一个namenoe和多个datanode，
分别对应独立的物理机器
1)NameNode是主服务器，管理文件系统的命名空间和客户端对文件的访问操作。NameNode执行文件系统的命名空间操作，比如打开关闭重命名文件或者目录等，它也负责...
分类：
其他好文 时间：
2014-05-05 10:35:14
阅读次数：
432
dataNode 无法启动是配置过程中最常见的问题，主要原因是多次format namenode 造成namenode 和datanode的clusterID不一致。建议查看datanode上面的log信息。解决办法:修改每一个datanode上面的CID(位于dfs/data/current/VERSION文件夹中)使两者一致。...
分类：
其他好文 时间：
2014-05-03 21:37:44
阅读次数：
308
