1.1.1 安全模式 安全模式是文件系统只读不写的过程，一般在载入旧镜像，执行编辑日志，生成新镜像和空编辑日志文件的过程中。datanode存储数据块列表，namenode存储块的位置信息。datanode定期向namenode发送最新的块列表信息。如果某个块复本数量少于最小复本级别（dfs.nam ...
分类：
其他好文 时间：
2020-03-11 11:08:29
阅读次数：
65
1.1.1 永久性数据结构 namenode的目录结构如下图 （1） VERSION属性文件 namespaceid文件系统命名空间唯一标识。 clusterID是将HDFS集群作为一个整体赋予的唯一标识符。 blockpoolID是数据块池的唯一标识。 CTime是namenode存储系统创建时间 ...
分类：
其他好文 时间：
2020-03-11 10:58:32
阅读次数：
49
一.以之前搭建的为云计算平台为主节点 角色分配 Master:NameNode/DataNode ResourceManager/NodeManager Slave1:DataNode NodeManager Slave2:DataNode NodeManager 1. 修改hostname 2. ...
分类：
其他好文 时间：
2020-03-03 13:20:26
阅读次数：
95
HDFS写流程 步骤：1.客户请求namenode上传文件,附带路径2.namenode检查，并响应是否允许3.客户端将文件分块，并请求分配block和datanode地址4.namenode响应客户端求，给定地址d1、d4、d65.客户端建立管道：d1收到请求继续调用d4,d4再调用d6。按照po ...
分类：
其他好文 时间：
2020-03-02 23:06:27
阅读次数：
69
格式化NameNode会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到以往数据，所以，格式化NameNode前，先关闭掉NameNode和DataNode，然后一定要删除data数据和log日志。最后再进行格式化。 在hadoop-2.9.2/data/tmp/ ...
分类：
其他好文 时间：
2020-03-01 14:11:34
阅读次数：
98
1. 读操作 1. 客户端向namenode发起上传请求 2. namenode检查datanode是否已经存有该文件，并且检查客户端的权限 3. 确认可以上传后，根据文件块数返回datanode栈 注：namenode触发副本放置策略，如果客户端在集群内的某一台机器，那么副本第一块放置在该服务器上 ...
分类：
其他好文 时间：
2020-03-01 12:13:26
阅读次数：
64
Schema.xml 作为 MyCat 中重要的配置文件之一，管理着 MyCat 的逻辑库、表、分片规则、DataNode 以及 DataSource。 <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat: ...
分类：
其他好文 时间：
2020-02-28 23:06:41
阅读次数：
112
java.io.IOException: All specified directories have failed to load. at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataSt ...
分类：
编程语言 时间：
2020-02-26 01:13:41
阅读次数：
90
hadoopd的sbin目录的脚本 一、服务相关的一些脚本 开启一个软件： 1、hadoop-daemon.sh start namenode 2、hadoop-daemon.sh start datanode 3、hadoop-daemon.sh start secondarynamenode （ ...
分类：
其他好文 时间：
2020-02-25 18:14:39
阅读次数：
74
一、HDFS的简介及优缺点 HDFS（Hadoop Distributed File System）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分，因为它涉及到数据存储，MapReduce等计算模型都要依赖于存储在HDFS ...
分类：
其他好文 时间：
2020-02-23 11:48:58
阅读次数：
77
