hdfs

标签：hdfs

OK，现在是想要学习一下hdfs的api和shell的使用方法。

首先，需要了解的是hdfs是什么？它有什么特点？它能用来做什么？

hdfs：

使用方式：hdfs  --config confdir command

dfs运行一个文件系统的命令，在hadoop支持的文件系统中。

namenode  -format  格式化dfs文件系统

secondarynamenode ：运行DFS的第二个namenode

namenode:运行DFS  namenode

journalnode：  运行DFS的日志节点

datanode：运行DFS  data节点

dfsadmin：   运行DFS管理客户端

haadmin：运行DFS 高可用管理客户端

fsck：运行DFS文件系统检查功能

balancer：运行集群负载均衡功能

jmxget：从namenode或者datanode中获得JMX到处的值（这个其实我不懂)

从结构来说：namenode,secondnamenode,journalnode这是架构。

而hdfs dfs其中涉及的就是具体的针对Hdfs的操作命令了。

我的疑问有很多：

1：hdfs中的权限问题是如何划分的？我看到hdfs中也有组，文件系统树也是一个分叉型的，上面是一个/，几乎和Linux的文件系统是一样的。

2：能否使用命令行查看，各个datanode节点使用的本地的文件系统(ext4或者xfs文件系统中使用的路径）。

3：hdfs内部的文件树的容量是怎么分布的？

比如说你在里面建立了一个目录，空间是怎么分布的？需要分区吗？

（使用hdfs dfs -ls -R /可以查看hdfs内的文件树的所有内容，

关于我想要学习的东西可以通过: hdfs dfs命令看到内部的子命令）

这可以看到一个整体的架构，还有namenode的url，整体的容量，管理节点的内容。

（我感觉有问题，linux下的命令看到的是分区的内容，但是这里看到的却是一个总体的大小？？？？？？，

使用hdfs dfs -df -h /idd命令看到的内容也是一样，这是为什么，我认为这不合理啊，应该看到的是内部的目录内容才对啊，为什么看到的还是一个整体的hdfsURL和大小？？？？）

这可以看出每个目录使用的空间大小。

我能否认为hdfs内部设计的文件系统机制没有linux的好？毕竟只是一个另类的东西

hdfs

标签：hdfs

原文地址：http://blog.csdn.net/yuangeqingtian/article/details/46710987