hadoop1.X架构 架构模型 分布式文件系统核心模块: namenode:集群中的主节点,管理元数据(文件的大小,文件的位置,文件的权限)。 secondaryNameNode:辅助namenode管理元数据信息。 dadanode:集群当中的从节点,主要存储集群中的各种数据。 分布式数据计算核 ...
分类：
其他好文 时间：
2020-12-28 11:29:22
阅读次数：
0
一. 前期准备 1. Vmware workstation pro 16 官网下载 : https://www.vmware.com/ 密钥：ZF3R0-FHED2-M80TY-8QYGC-NPKYF （若失效请自行百度） 2. xshell,xftp 官网下载（需要注册） 3. 国内镜像网站下载c ...
参考：https://forum.huawei.com/enterprise/zh/thread-435089.html 安全模式是HDFS的一种工作状态，处于安全模式下，只能给客户端提供只读视图，不接受增删改。 namenode启动时，会将映像文件（fsimage）和编辑日志（edit log）加 ...
分类：
其他好文 时间：
2020-12-21 11:55:04
阅读次数：
0
一、 初始化工作： 1. 准备三台机器 hostanme IP 用途 master 192.168.0.10 namenode node1 192.168.0.11 datenode node2 192.168.0.12 datenode 在三台机器上做下面的动作 2. 编辑/etc/hosts 1 ...
分类：
其他好文 时间：
2020-11-23 12:38:36
阅读次数：
12
hdfs的写入过程和读取过程 hdfs的写入过程 1、客户端（Client）发出请求（将请求发给namenode），要将大小为300M的a.txt文件上传到 根目录下（/a.txt） 2、namenode对收到的请求做出检测；检测1：所上传的路径下是否存在该文件，（即根目录下是否有a.txt），检测 ...
分类：
其他好文 时间：
2020-11-23 12:16:27
阅读次数：
4
本周因为一些原因实际开发时间过于零散，因而开发报告未按每日进行总结 但是本周进展也说不上多，这点不太好 花在学习上：20小时 花在代码上：15小时 花在解决问题上：9小时 本周遇到的问题：Hadoop可以正常启动 但是Namenode无法通过浏览器访问(连接被拒绝)，离谱的是Secondary Na ...
分类：
其他好文 时间：
2020-11-12 13:43:39
阅读次数：
7
Hadoopnamenode高可用性分析：QJM核心源代码解读背景介绍HDFSnamenode在接受写操作时会记录日志，最早HDFS日志写本地，每次重启或出现故障后重启，通过本地镜像文件＋操作日志，就能还原到宕机之前的状态，不会出现数据不一致。如果要做高可用(HA)，日志写在单个机器上，这个机器磁盘出现问题，重启就恢复不了，导致数据不一致，出现的现象就是新建的文件不存在，删除成功的还在等诡异现象。
分类：
其他好文 时间：
2020-11-07 17:00:30
阅读次数：
24
在单点或者少数节点故障的情况下，集群还可以正常的提供服务，HDFS高可用机制可以通过配置Active/Standby两个NameNodes节点实现在集群中对NameNode的热备来消除单节点故障问题，如果单个节点出现故障，可通过该方式将NameNode快速切换到另外一个节点上。
分类：
其他好文 时间：
2020-10-29 09:35:04
阅读次数：
15
配置集群 配置yarn-env.sh Linux系统中获取JDK的安装路径 [xiaoran@hadoop101 hadoop-2.7.2]$ echo $JAVA_HOME /opt/module/jdk1.8.0_144 修改JAVA_HOME路径 [xiaoran@hadoop101 hado ...
分类：
其他好文 时间：
2020-10-27 11:36:17
阅读次数：
28
DataNode上数据块以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是数据块元数据包括长度、校验、时间戳；
DataNode启动后向NameNode服务注册，并周期性的向NameNode上报所有的数据块元数据信息；
分类：
其他好文 时间：
2020-10-21 20:51:41
阅读次数：
21
