hdfs基本思想

标签：总结   基本   image   class   系统   lock   数据安全   文件的   技术   

主从结构
　　主节点， namenode
　　从节点，有很多个: datanode
namenode负责：
　　接收用户操作请求
　　维护文件系统的目录结构
　　管理文件与block之间关系，block与datanode之间关系
datanode负责：
　　存储文件
　　文件被分成block存储在磁盘上
　　为保证数据安全，文件会有多个副本

总结:

　　我们启动hdfs的时候只需要知道hadoop的etc目录下core-site.xml的hadoop的存储目录，

        <!-- 指定hadoop运行时产生文件的存储目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/hadoop/hadoop-2.4.1/data/</value>
       </property>

　　当我们存储文件的时候会hadoop会在这个目录下建好多目录存储我们的文件，我们只需要指定相对于hdfs开始的根目录，hdfs相当于给我们提供了好多虚拟目录。hadoop会自动实现分布式存储，分别存在多个datanode节点，并通过namnode建立文件存储位置的表识。

思考:

　　基于hdfs我们可以实现类似于百度网盘的功能，将数据分布式存储，当用户申请账号的时候我们可以在hdfs的根目录给该用户创建一个目录。对于限制文件上传大小，我们可以在数据库记录该用户上传的文件大小并进行限制。

hdfs基本思想

标签：总结   基本   image   class   系统   lock   数据安全   文件的   技术   

原文地址：https://www.cnblogs.com/qlqwjy/p/8798377.html