问题: 在Hadoop中,新建一个目录,报错了,提示mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory,该如何解决呢?...
分类:
其他好文 时间:
2014-05-22 11:31:11
阅读次数:
304
简介
此文档描述了一个超级用户如何在安全的方式下以另一用户的名义提交作业或访问hdfs。
Use Case
下一部分描述的的代码示例对此用户用例是可用的。
一个用户名为'super'的超级用户想要以另一用户joe的名义提交作业或访问hdfs。超级用户有kerberos证书但是用户joe并没有。任务要求以用户joe的角色运行并且namenode上的文件访问也需要由joe完成。需要用户...
分类:
其他好文 时间:
2014-05-22 10:40:41
阅读次数:
255
在开发的时候,最主要用的操作DOM。
DOM:...
分类:
编程语言 时间:
2014-05-21 15:10:01
阅读次数:
347
NameNode有这么几个配置:PropertyDescriptionSuggested
valuedfs.name.dirDirectory in NameNode’s local filesystem to store HDFS’s
metadata/home/hadoop/dfs/namedf...
分类:
其他好文 时间:
2014-05-17 18:56:09
阅读次数:
367
尝试了简单的安装hadoop2后,我们再来尝试一下hdfs的一项新功能:FN。这项技术可以解决namenode容量不足的问题。它采用多个namenode来共享datanode的方式,每个namenode属于不同的namespace。下面是我们的安装信息Hadoop
版本:2.2.0OS 版本: Ce...
分类:
其他好文 时间:
2014-05-17 10:54:41
阅读次数:
518
前面介绍过hadoop的简单安装和FA安装,在这里将介绍几种hadoop2中HA(高可用性)安装,HA技术使hadoop不再存在单点namenode的故障。先来第一种:nfs+zookeeperHadoop
版本:2.2.0OS 版本: Centos6.4Jdk 版本: jdk1.6.0_32环境配...
分类:
其他好文 时间:
2014-05-17 03:07:21
阅读次数:
388
前面介绍过使用NFS+zookeeper来解决namenode单点失败问题,因为NFS可能也会存在单点问题,所以hadoop提供了一种叫做JournalNode技术,这项技术可以在JournalNode节点间共享数据我们来介绍这一种技术:JournalNode+
zookeeperHadoop 版本...
分类:
其他好文 时间:
2014-05-17 00:29:07
阅读次数:
331
---恢复内容开始---前面花了很多时间来介绍hadoop1的安装,随着hadoop的发展,hadoop2的应用也越来越普及,hadoop2解决了hadoop1中的很多问题,比如单点故障,namenode容量小的问题。我们先来安装最简单的版本Hadoop
版本:2.2.0OS 版本: Centos6...
分类:
其他好文 时间:
2014-05-13 16:45:30
阅读次数:
333
hbase shell命令的使用
再使用hbase 命令之前先检查一下hbase是否运行正常
hadoop@Master:/usr/hbase/bin$ jps
2640 HMaster
27170 NameNode
27533 SecondaryNameNode
3038 Jps
27795 TaskTracker
27351 DataNode
2574 HQuorumPeer
...
分类:
其他好文 时间:
2014-05-13 05:40:21
阅读次数:
460
2014-05-12注定是春光灿烂猪八戒的一天,历史595无故障的hadoop服务器,终于还是出了问题,事前无人登陆操作服务器,此故障属于自发行为,目前未知发生原因。细节描述:namenode无法启动.先贴出错误信息2014-05-1207:17:39,447INFOorg.apache.hadoop.hdfs.server.namenode.Name..
分类:
其他好文 时间:
2014-05-13 02:55:12
阅读次数:
394