尝试了简单的安装hadoop2后，我们再来尝试一下hdfs的一项新功能：FN。这项技术可以解决namenode容量不足的问题。它采用多个namenode来共享datanode的方式，每个namenode属于不同的namespace。下面是我们的安装信息Hadoop
版本:2.2.0OS 版本: Ce...
分类：
其他好文 时间：
2014-05-17 10:54:41
阅读次数：
518
hadoop dfsadmin -safemode leave
分类：
其他好文 时间：
2014-05-16 22:18:40
阅读次数：
325
HADOOP HA配置
hadoop2.x的ha配置，此文档中描述有hdfs与yarn的ha配置。
此文档的假定条件是zk已经安装并配置完成,其实也没什么安装的。
hdfs ha配置
首先，先配置core-site.xml配置文件：
在老版本中使用mr1时,还可能使用fs.default.name来进行配置
fs.defaultFS
此处配置的mycluster目前还没...
分类：
其他好文 时间：
2014-05-15 23:40:10
阅读次数：
705
1：原理图 A：NN1、NN2（或者更多个NN节点）只有一个是Active状态，通过自带ZKFailoverController组件（zookeeper客户端）和zookeeper集群协同对所有NN节点进行检测和选举来达到此目的。B：Active NN 的EditLog 写入共享的JournalNode集群中，Standby NN通过JournalNode集群获取Editlog，并在本地运行来保持...
分类：
其他好文 时间：
2014-05-15 14:46:42
阅读次数：
414
版本：CDH5.0.0，HDFS：2.3.0，Mapreduce:2.3.0,Yarn:2.3.0。场景描述：求一组数据中按照不同类别的最大值，比如，如下的数据：data1:A,10
A,11
A,12
A,13
B,21
B,31
B,41
B,51data2:A,20
A,21
A,22
A,23
B,201
B,301
B,401
B,501最后输出为：A,23
B,501假如这样的逻辑的m...
分类：
其他好文 时间：
2014-05-15 08:15:04
阅读次数：
374
本篇的配置环境是基于HDFS HA系列实验之二：HA+JournalNode+zookeeper 上进行的。1：原理图 A：实验环境之组成DNS：productserverHA1（nameservices为cluster1）：product201、product202HA2（nameservices为cluster2）：product211、product212DN：product203、p...
分类：
其他好文 时间：
2014-05-15 05:59:29
阅读次数：
323
在2014年4月7日，Apache发布了Hadoop 2.4.0 。相比于hadoop 2.3.0，这个版本有了一定的改进，突出的变化可以总结为下列几点（官方文档说明）：
1 支持HDFS访问控制列表（ACL，Access Control Lists）
这个特性解决了在一定情况下，文件权限访问的权限问题。其机制是基于Linux文件访问权限的特征，如果你熟悉Linux的文件访问机...
分类：
其他好文 时间：
2014-05-13 09:03:36
阅读次数：
326
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop dfs -rmr output
Deleted hdfs://localhost:9000/user/lk/output
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop jar ~/mytopk.jar top.Top input out...
分类：
其他好文 时间：
2014-05-13 06:53:12
阅读次数：
448
2014-05-12注定是春光灿烂猪八戒的一天，历史595无故障的hadoop服务器，终于还是出了问题，事前无人登陆操作服务器，此故障属于自发行为，目前未知发生原因。细节描述：namenode无法启动.先贴出错误信息2014-05-1207:17:39,447INFOorg.apache.hadoop.hdfs.server.namenode.Name..
分类：
其他好文 时间：
2014-05-13 02:55:12
阅读次数：
394
