写流程 1.HDFS Client调用DistributedFileSystem.create(filePath)方法，去和NN进行【RPC】通信！ 2.NN 会去check这个路径的文件是否已经存在，是否有权限能够创建这个文件！ 假如都ok，就去创建一个新的文件，但是这时还没写数据，是不关联任何的 ...
分类：
其他好文 时间：
2020-06-25 11:57:36
阅读次数：
65
HDFS写流程 步骤：1.客户请求namenode上传文件,附带路径2.namenode检查，并响应是否允许3.客户端将文件分块，并请求分配block和datanode地址4.namenode响应客户端求，给定地址d1、d4、d65.客户端建立管道：d1收到请求继续调用d4,d4再调用d6。按照po ...
分类：
其他好文 时间：
2020-03-02 23:06:27
阅读次数：
69
写流程： 正常： 1.HDFS客户端调用分布式文件系统的create方法远程过程调用namenode的create方法 namenode内完成几项判断 返回客户端 2.调用FSDataOutputStream的write方法 同时该流告诉Namenode addblock 返回列表 然后开始写 3. ...
分类：
其他好文 时间：
2020-01-06 14:42:27
阅读次数：
67
1、kafka的message包括哪些信息 一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成 header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。 当magic的值为1的时候，会在magic和crc3 ...
分类：
其他好文 时间：
2019-10-27 18:41:59
阅读次数：
92
Hadoop 是什么 Hadoop 是一个开源的大数据框架同时也是一个分布式计算的解决方案。Hadoop = HDFS （分布式文件系统）+MapReduce（分布式计算） HDFS HDFS 概念 数据块 NameNode DataNode 数据块： 数据块是一个抽象的块，而不是整个文件。默认大小 ...
分类：
其他好文 时间：
2019-08-25 12:00:12
阅读次数：
120
一、HDFS中的block、packet、chunk 1.Block 在将文件上传到hdfs之间需要分块，这个块就是block，默认为128MB（hadoop2.X），当然可以更改。通过修改core-default.xml文件修改这个值，它是最大的一个单位。 2.Packet Packet是第二大的 ...
分类：
其他好文 时间：
2019-08-23 16:18:07
阅读次数：
73
HDFS写流程 Client 切分文件Block 按Block线性和NN获取DN列表（副本数） 验证DN列表后以更小的单位流式传输数据 各节点，两两通信确定可用 Block传输结束后 DN向NN汇报Block信息 DN向Client汇报完成 Client向NN汇报完成 获取下一个Block存放的DN ...
分类：
其他好文 时间：
2019-07-14 12:41:34
阅读次数：
95
hadoophdfs 1. HDFS写流程 2. HDFS写流程 1. HDFS写流程 HDFS写流程 副本存放策略: 上传的数据块后,触发一个新的线程,进行存放。 第一个副本:与client最近的机器(基于性能考虑) 第二个副本:跨机器存放该副本(考虑数据安全性) 第三个副本:与第一个，第二个副本 ...
分类：
其他好文 时间：
2019-06-08 01:01:44
阅读次数：
90
在介绍HDFS读写流程时，先介绍下Block副本放置策略。 Block副本放置策略 第一个副本：放置在上传文件的DataNode；如果是集群外提交，则随机挑选一台磁盘不太满，CPU不太忙的节点。 第二个副本：放置在与第一个副本不同的机架的节点上。 第三个副本：与第二个副本相同机架的节点。 更多副本： ...
分类：
其他好文 时间：
2019-06-06 09:32:22
阅读次数：
115
