1.用自己的图，描述HDFS体系结构、工作原理与流程。 2.伪分布式安装Hadoop （1）创建hadoop用户 （2）更新apt （3）安装SSH ，配置无密码SSH登录 （4）安装JAVA环境 （5）安装 Hadoop 2.7.1 （6）Hadoop伪分布式配置 （7）运行Hadoop伪分布式实 ...
分类：
其他好文 时间：
2020-10-18 09:54:43
阅读次数：
16
首先要了解的是，HDFS采用的是主从架构，即一个主节点（名称节点），多个从节点（数据节点），主节点起到管家作用，负责提供数据目录服务，从节点都是数据节点负责数据存储。 我们都知道文件系统中都是有命名空间的概念的，HDFS也不例外，它的命名空间只有一个，里面包含了目录、文件、块，它的使用和传统的文件体 ...
分类：
其他好文 时间：
2020-03-11 15:42:50
阅读次数：
86
HDFS 体系结构 mapreduce 体系结构和算法 haddop 集群 zookeeper 操作；HBase 体系结构Hive /Sqoop 体系结构和基本操作； mapreduce 逻辑处理数据；HDFS 存放海量数据； 结构与非结构化数据structured data ( RDBMS ) & ...
分类：
其他好文 时间：
2018-05-04 19:31:14
阅读次数：
145
一、HDFS体系结构 1 HDFS假设条件 数据流访问 大数据集 简单相关模型 移动计算比移动数据便宜 多种软硬件平台中的可移植性 2 HDFS的设计目标 非常巨大的分布式文件系统 运行于普通硬件上 优化批处理 用户控件可以位于异构的操作系统中 在整个集群中使用单一的命名空间 数据一致性 文件被分为 ...
分类：
其他好文 时间：
2018-04-25 17:09:54
阅读次数：
180
Hadoop读书笔记（一）Hadoop介绍：http://blog.csdn.net/caicongyang/article/details/39898629 Hadoop读书笔记（二）HDFS的shell操作:http://blog.csdn.net/caicongyang/article/det ...
分类：
其他好文 时间：
2018-01-17 10:11:57
阅读次数：
115
1 HDFS体系结构简单介绍及优缺点 1.1体系结构简单介绍 HDFS是一个主/从（Mater/Slave）体系结构。从终于用户的角度来看，它就像传统的文件系统一样，能够通过文件夹路径对文件运行CRUD（Create、Read、Update和Delete）操作。但因为分布式存储的性质，HDFS集群拥 ...
分类：
其他好文 时间：
2017-05-01 11:07:48
阅读次数：
637
hadoop项目地址：http://hadoop.apache.org/ 分布式文件系统概述： 数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。 是一种允许文件通过 ...
分类：
其他好文 时间：
2017-03-05 20:28:37
阅读次数：
673
1.数据块：适合大文件的存储 好处：可以存储比单一磁盘大的文件、简化了存储管理（将管理块和管理文件的功能区分开）、方便容错（数据块进行） 为什么块的大小比磁盘块大的多？减少管理数据块的开销、同时在对文件进行读写时较少寻址开销、可以减少名字节点管理文件与数据块的关系的开销 2.名字节点与第二名字节点（ ...
分类：
其他好文 时间：
2016-11-28 23:09:05
阅读次数：
432
体系结构 从上图可以看出NameNode节点:在Hadoop1.x的版本中，NameNode节点只有一个，所以NameNode节点为非HA的(不是高可用的,后面会详细讨论)。在Hadoop2.X的版本中，NameNode节点可以有很多个。所以在Hadoop2.x的版本中，NameNode节点是HA的 ...
分类：
其他好文 时间：
2016-08-19 18:44:03
阅读次数：
175
第六章 HDFS概述
6.1.2 HDFS体系结构
HDFS采用主从结构，NameNode(文件系统管理者，负责命名空间，集群配置，数据块复制),
DataNode(文件存储的基本单元，以数据块形式保存文件内容和数据块的数据校验信息，执行底层数据块IO操作),
Client(和名字节点，数据节点通信，访问HDFS文件系统，操作文件),
SecondaryNameNode
1、数据块...
分类：
其他好文 时间：
2016-06-24 15:46:18
阅读次数：
170
