1.在NameNode的一个节点下执行以下命令 #!/bin/bash for i in 192.168.1.101 192.168.1.102 192.168.1.103 do ssh $i "source /etc/profile;source ~/.bash_profile;/home/abb ...
分类：
其他好文 时间：
2020-06-01 13:34:08
阅读次数：
62
一、通用优化 1.1、NameNode 的元数据备份使用 SSD 1.2、定时备份 NameNode 上的元数据 建议每小时或者每天备份，如果数据极其重要，可以5~10分钟备份一次。备份可以通过定时任务复制元数据目录即可。 1.3、为 NameNode 指定多个元数据目录 使用 dfs.name.d ...
分类：
系统相关 时间：
2020-05-30 21:52:59
阅读次数：
105
Hadoop 简介： 两大核心：HDFS+MapReduce Hadoop1.0，Hadoop2.0 Linux：基础 shell，sudo Hadoop集群的部署与使用 先访问nameNode 存储DataNode JobTracker TaskTracker 分布式文件系统 伪分布式：就是吧名称 ...
分类：
其他好文 时间：
2020-05-29 17:44:12
阅读次数：
71
概览 首先我们来认识一下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默 ...
分类：
其他好文 时间：
2020-05-28 18:13:32
阅读次数：
84
hadoop完全分布式集群有一般集群和HA高可用集群 一般集群只有一个namenode节点，当namenode节点出现故障时，整个集群将无法使用。因此，相对的出现了HA集群 HA集群具有主备切换机制，有两个namenode节点，active/standby namenode，两个节点元数据同步， 当 ...
分类：
其他好文 时间：
2020-05-23 20:27:21
阅读次数：
63
hadoop namenode的工作机制 https://blog.csdn.net/u010846741/article/details/52369527 《Hadoop管理一》checkpoint原理和过程 Standby Namenode Checkpoint过程剖析 ...
分类：
其他好文 时间：
2020-05-23 12:59:51
阅读次数：
51
当 Hadoop的NameNode节点启动时，会进入安全模式阶段。在此阶段，DataNode会向NameNode上传它们数据块的列表，让NameNode得到块的位置信息，并对每个文件对应的数据块副本进行统计。当最小副本条件满足时，即一定比例的数据块都达到最小副本数，系统就会退出安全模式，而这需要一定 ...
分类：
其他好文 时间：
2020-05-22 17:16:55
阅读次数：
71
公司测试环境的namenode出现损坏启动不了。 一开始是因为把机器的dfs目录改成了权限777，后来百度了下发现755才可以。 修改完发现namenode启动过程一直报edits文件里面存在文件丢失。 通过下面两个命令进行对edits转换成xml 修改内部不存在文件为OP_SET_PERMISSI ...
分类：
其他好文 时间：
2020-05-17 19:10:24
阅读次数：
82
原因： 1.防火墙没关闭（对应端口没有打开） 2.hadoop集群没有启动成功 3.hadoop集群处于安全模式 4.网络问题 解决方案： 1.关闭防火墙 2.jps查看进程，出现下面几个进程则启动成功。 hdfs三个进程中，datanode和namenode只有一个启动成功，可能是namenode ...
分类：
编程语言 时间：
2020-05-15 13:11:20
阅读次数：
271
如何对NameNode中数据持久化 FsImage：保存NameNode当前这一时刻数据状态 Editslog：日志文件，只记录client到hdfs写操作（二进制文件） Editslog和FsImage会定期合并，这项任务由SecondNameNode执行，当在合并的时候，客户端执行的写操作不再写 ...
分类：
其他好文 时间：
2020-04-18 12:14:46
阅读次数：
64
