这里介绍一下hadoop的组成, hadoop主要由两部分组成,,一个是hdfs,另一个是mapreduce
这两个部分在hadoop 2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本中有了一个新名字yarn.
dfs 主要用来启动 namenode 和 datanode, namenode既是是传说中的matser, datanod...
分类:
其他好文 时间:
2014-05-07 04:33:35
阅读次数:
359
集群安装配置Hadoop
集群节点:node4、node5、node6、node7、node8。具体架构:
node4
Namenode,secondnamenode,jobtracker
node5
Datanode,tasktracker
node6
Datanode,tasktracker...
分类:
其他好文 时间:
2014-05-07 02:52:47
阅读次数:
361
1.核心 HDFS 分布式文件系统 主从结构,一个namenoe和多个datanode,
分别对应独立的物理机器
1)NameNode是主服务器,管理文件系统的命名空间和客户端对文件的访问操作。NameNode执行文件系统的命名空间操作,比如打开关闭重命名文件或者目录等,它也负责...
分类:
其他好文 时间:
2014-05-05 10:35:14
阅读次数:
432
dataNode 无法启动是配置过程中最常见的问题,主要原因是多次format namenode 造成namenode 和datanode的clusterID不一致。建议查看datanode上面的log信息。解决办法:修改每一个datanode上面的CID(位于dfs/data/current/VERSION文件夹中)使两者一致。...
分类:
其他好文 时间:
2014-05-03 21:37:44
阅读次数:
308
Lease 的机制:hdfs支持write-once-read-many,也就是说不支持并行写,那么对读写的互斥同步就是靠Lease实现的。Lease说白了就是一个有时间约束的锁。客户端写文件时需要先申请一个Lease,对应到namenode中的LeaseManager,客户端的client name就作为一个lease的holder,即租约持有者。LeaseManager起什么作用呢?
读写过程的容错是怎么做的?数据块是如何复制的?数据块的恢复机制?本文都有涉及。...
分类:
其他好文 时间:
2014-05-02 23:22:14
阅读次数:
450
Hadoop从2.3.0版本开始支持HDFS缓存机制,HDFS允许用户将一部分目录或文件缓存在HDFS当中,NameNode会通知拥有对应块的DataNodes将其缓存在DataNode的内存当中
集中式缓存管理有着许多显著的优势:
防止那些被频繁使用的数据从内存中清除因为DataNode的缓存由NameNode来管理,applications在做任务安排时可以查询这个缓存的列表,...
分类:
其他好文 时间:
2014-05-01 17:45:58
阅读次数:
379
no datanode to stop; no namenode to stop; Bad
connection to FS. command aborted.; 网络时断时许错误;
分类:
其他好文 时间:
2014-04-29 20:35:45
阅读次数:
637