Hdfs文件系统,提供了一套基于hadoop的抽象文件系统的API,支持以流的方式访问文件系统中的数据。
特性:
1、 支持超大文件
2、 检测和快速应对硬件故障(故障检测和自动恢复)
3、 流式数据访问,注重的是数据的吞吐量,而不是数据的响应速度
4、 简化的一致性模型,一次写入,多次读取。
不适合:
5、 低延迟数据访问,和用户的实时交互,由于hadoop对高数据吞吐量进行了优化,而牺牲了数据的延迟,对于低延迟访问,可以考虑hbase或cassandra
正常水平的副本数即副本系数
Namenode:
SNN:
Datanode:
客户端:
源码文件:org.apache.hadoop.hdfs包下
关于源码实现,可在实际工作需要的时候查看。
Hdfs主要流程,在需要的时候可以详细分析一下。
Hadoop技术内幕HDFS-笔记11之HDFS,布布扣,bubuko.com
原文地址:http://www.cnblogs.com/jsunday/p/3821350.html