jps命令无法找到解决方法 [root@namenode ~]# jpsbash: jps: 无法找到jps命令[root@namenode ~]# find / -name jpsfind: ‘/run/user/1001/gvfs’: Permission denied[root@namenod ...
分类：
系统相关 时间：
2020-03-26 17:50:17
阅读次数：
546
1 环境准备 1.1 修改IP 1.2 修改主机名及主机名和IP地址的映射 1.3 关闭防火墙 1.4 ssh免密登录 1.5 安装JDK，配置环境变量 2 集群规划 节点名称 NN JJN DN ZKFC ZK RM NM linux1 NameNode JournalNode DataNode ...
分类：
其他好文 时间：
2020-03-24 15:39:44
阅读次数：
82
1.NN和2NN工作机制 第一阶段：NameNode启动 (1) 第一次启动NameNode格式化后，创建fsimage和edits文件，如果不是第一次启动，直接加载编辑日志和镜像文件到内存； (2) 客户端对元数据进行增删改的请求； (3) NameNode记录操作日志，更新滚动日志； (4) N ...
分类：
其他好文 时间：
2020-03-24 12:43:15
阅读次数：
87
HDFS写数据流程 1.客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已经存在，父目录是否存在； 2.NameNode返回是否可以上传文件； 3.客户端请求一个block上传到指定的那个DataNode服务器上； 4.Nam ...
分类：
其他好文 时间：
2020-03-20 19:52:48
阅读次数：
56
1、hadoop的各种进程及其作用 NameNode：是hdfs的主服务器，管理文件系统的目录树以及对集群中存储文件的访问，保存有metadate，不断读取记录集群中dataNode主机状况和工作状态。 SecondaryNameNode：NameNode的冷备，负责周期性的合并esimage以及e ...
分类：
系统相关 时间：
2020-03-18 18:46:10
阅读次数：
66
记录一下对CAP的理解，CAP理论是分布式系统的基本理论，已得到证明，分布式系统最多只能满足其中的两个。 CAP基本概念 CAP是三个特性关键字的简写。 （1）C：Consistency，一致性 （2）A：Availability，可用性 （3）P：Partition tolerance，分区容忍性 ...
分类：
其他好文 时间：
2020-03-17 19:52:18
阅读次数：
97
一：DataNode工作机制 （1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度、 快数据的校验和（验证数据完整性）以及时间戳 （2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有 ...
分类：
其他好文 时间：
2020-03-15 22:22:33
阅读次数：
80
1.1.1 安全模式 安全模式是文件系统只读不写的过程，一般在载入旧镜像，执行编辑日志，生成新镜像和空编辑日志文件的过程中。datanode存储数据块列表，namenode存储块的位置信息。datanode定期向namenode发送最新的块列表信息。如果某个块复本数量少于最小复本级别（dfs.nam ...
分类：
其他好文 时间：
2020-03-11 11:08:29
阅读次数：
65
1.1.1 永久性数据结构 namenode的目录结构如下图 （1） VERSION属性文件 namespaceid文件系统命名空间唯一标识。 clusterID是将HDFS集群作为一个整体赋予的唯一标识符。 blockpoolID是数据块池的唯一标识。 CTime是namenode存储系统创建时间 ...
分类：
其他好文 时间：
2020-03-11 10:58:32
阅读次数：
49
发现最近很多人关注CDH版本更新的问题，CDH6更新有一年多的时间了，2019年2月19日，迭代的版本为CDH6.1.1，现在CDH最新的版本已经到CDH6.3.3了。为了方便比较，本文内容主要基于CDH5.16.1和CDH6.1.1进行说明。CDH6是基于Hadoop3同时包含大量其他组件的大版本更新的发布版本，许多用户考虑到未来CDH的版本主要是基于CDH6，而CDH5会慢慢的停止更新，所以考
分类：
其他好文 时间：
2020-03-10 12:04:30
阅读次数：
53
