一、Hadoop的数据压缩 1.概述 在进行MR程序的过程中，在Mapper和Reducer端会发生大量的数据传输和磁盘IO，如果在这个过程中对数据进行压缩处理，可以有效的减少底层存储(HDFS)读写的字节数，，并且通过减少Map和Reduce阶段数据的输入输出来提升MR程序的速度，提高了网络带宽和 ...
分类：
其他好文 时间：
2019-04-08 10:38:13
阅读次数：
231
HDFS HDFS读写过程 写（上传） NameNode：Master主管管理者，管理HDFS的名称空间、配置副本策略、管理数据块Block的映射信息、处理客户端读写请求； DataNode：Slave，执行NN下达的命令，存储实际的数据块、执行数据块的读写操作； Client：①文件切分，将文件切 ...
分类：
其他好文 时间：
2019-01-20 22:02:33
阅读次数：
201
一、从hdfs下载文件到windows本地： 二、hdfs常用的API： 三、hdfs读写文件： ...
本文来自网易云社区 作者：闽涛 背景 Cloudera在2016年发布了新型的分布式存储系统——kudu，kudu目前也是apache下面的开源项目。Hadoop生态圈中的技术繁多，HDFS作为底层数据存储的地位一直很牢固。而HBase作为Google BigTable的开源产品，一直也是Hadoo ...
分类：
其他好文 时间：
2018-09-14 13:53:55
阅读次数：
150
分布式文件系统HDFS 一:概述 1.HDFS设计目标 2.HDFS核心组件 3.HDFS副本机制 4.HDFS环境搭建 5.HDFS shell命令 java api 6.HDFS读写流程 7.HDFS优缺点 二: 思考:如何创建一个分布式文件系统 重点:文件以多副本的方式进行存储 缺点:文件不管 ...
分类：
其他好文 时间：
2018-07-15 19:45:09
阅读次数：
182
1.HDFS的工作机制： 2.HDFS的写数据流程： 2.1.概述 客户端要向HDFS写数据，首先跟Namenode通信以确认可以写文件并获得接收文件block的datanode(切块在客户端进行)， 然后客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datano ...
分类：
Web程序 时间：
2018-06-17 13:42:01
阅读次数：
259
HDFS写流程：1.初始化FileSystem，客户端调用create()来创建文件2.FileSystem用RPC调用元数据节点，在文件系统的命名空间中创建一个新的文件，元数据节点首先确定文件原来不存在，并且客户端有创建文件的权限，然后创建新文件。3.FileSystem返回DFSOutputStream，客户端用于写数据，客户端开始写入数据。4.DFSOutputStream将数据分成块，写入
分类：
其他好文 时间：
2018-05-22 20:47:41
阅读次数：
140
HDFS即Hadoop Distributed File System分布式文件系统，它的设计目标是把超大数据集存储到分布在网络中的多台普通商用计算机上，并且能够提供高可靠性和高吞吐量的服务。分布式文件系统要比普通磁盘文件系统复杂，因为它要引入网络编程，分布式文件系统要容忍节点故障也是一个很大的挑战 ...
分类：
其他好文 时间：
2018-01-24 22:30:04
阅读次数：
355
一、HDFS读写文件过程 1.读取文件过程 1) 初始化FileSystem，然后客户端(client)用FileSystem的open()函数打开文件 2) FileSystem用RPC调用元数据节点，得到文件的数据块信息，对于每一个数据块，元数据节点返回保存数据块的数据节点的地址。 3) Fil ...
分类：
其他好文 时间：
2017-07-29 15:12:58
阅读次数：
117
