码迷,mamicode.com
首页 > 其他好文 > 详细

【大数据系列】HDFS文件权限和安全模式、安装

时间:2017-07-15 19:55:48      阅读:223      评论:0      收藏:0      [点我收藏+]

标签:数据   比例   火墙   ref   存储   系统用户   sim   没有   客户端   

HDFS文件权限

1、与linux文件权限类型

r:read w:write x:execute权限x对于文件忽略,对于文件夹表示是否允许访问其内容

2、如果linux系统用户sanglp使用hadoop命令创建一个文件,那么这个文件在HDFS中owner就是sanglp

3、HDFS的权限目的:阻止好人做错事,而不是阻止坏人做坏事。

安全模式

1、 namenode启动的时候,首先将映像文件(fsimage)载入内存,并执行编辑日志(edits)中的各项操作。

2、 一旦在内存中成功建立文件系统元数据的映射,则创建一个新的fsimage文件(这个操作不需要SecondaryNameNode)和一个空的编辑日志。

3、 此刻namenode运行在安全模式。即namenode的文件系统对于客户端来说是只读的(显示目录、显示文件内容等。写、删除、重命名都会失败)

4、 在此阶段Namenode手机各个datanode的报告,当数据块达到最小副本数以上时,会被认为是“安全”的,在一定比例(可设置)的数据块被确定为“安全”后,再过若干时间,安全模式结束

5、 当检测到副本数不足的数据块时,该块会被复制直到最小副本数,系统中数据块的位置并不是由namenode维护的,而是以块列表示形式存储在datanode中。

HDFS安装

1、 伪分布式安装

2、 完全分布式安装

  • 下载
  • 解压
  • 检查java和ssh的免密码登陆
  • 修改core-site.xml
  • 修改hdfs-site.xml
  • 修改master文件和slaves文件
  • 格式化namenode
  • start-hdfs.sh启动

3、 按照文档安装

       编辑core-site.xml  (默认core-default.xml里有使用到的变量 fs.default.name配置的是NameNode的主机和入口)

技术分享

编辑hdfs-site.xml(副本数是小于或等于DataNode的节点数的 hdfs-default.xml)

技术分享

编辑slaves(配置datanode的ip信息)

修改masters(配置secondary NameNode 配置主机名或ip )

配置免密登陆是为了在任何一台机器上可以操作所有的节点

只启动hdfs的时候使用start-dfs.sh

需要在hadoop/conf/Hadoop-env.sh中配置JAVA_HOME

如果namenode启动的时候显示别的dataNode已经启动,但是别的主机上jps没有启动则关闭防火墙重新启动。

之后访问http://node1:50070查看详情NameNode DataNode等信息

【大数据系列】HDFS文件权限和安全模式、安装

标签:数据   比例   火墙   ref   存储   系统用户   sim   没有   客户端   

原文地址:http://www.cnblogs.com/dream-to-pku/p/7183799.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!