redis 持久化 交换 什么是持久化： 将数据从掉电易失的内存存放到能够永久存储的设备上 redis持久化方式：RDB（Redis DB） hdfs:fsimage(产生持久化镜像文件，以二进制格式文件的形式存储，对应reids的RDB文件) AOF(AppendOnlyFile) hdfs: e ...
分类：
其他好文 时间：
2019-07-06 19:19:06
阅读次数：
95
HDFS高可用性Hadoop HDFS 的两大问题：NameNode单点：虽然有StandbyNameNode，但是冷备方案，达不到高可用--阶段性的合并edits和fsimage，以缩短集群启动的时间--当NameNode失效的时候，Secondary NN并无法立刻提供服务，Secondary ...
分类：
Web程序 时间：
2019-06-14 18:22:47
阅读次数：
298
问题描述 发现active namenode上的fsimage是4月4日的，而standby namenode上的fsimage是4月21日。说明没有及时同步fsimage，担心后续切换可能会出问题。 定位 根据配置，fsimage至少每个小时就会同步一次，查看两个namenode的日志中相关记录： ...
分类：
其他好文 时间：
2019-05-28 17:12:31
阅读次数：
108
2019-04-23 14:16:21,769 WARN namenode.FSImage (EditLogFileInputStream.java:scanEditLog(359)) - Caught exception after scanning through 0 ops from /had ...
分类：
其他好文 时间：
2019-05-23 21:05:40
阅读次数：
150
1、fsimage和edit的区别？ 2、列举几个配置文件优化？ --发挥 3、datanode 首次加入 cluster 的时候，如果 log 报告不兼容文件版本，那需要namenode 执行格式化操作，这样处理的原因是？ 4、MapReduce 中排序发生在哪几个阶段？这些排序是否可以避免？为什 ...
分类：
其他好文 时间：
2019-05-02 11:20:22
阅读次数：
136
namenode在内存和磁盘中都保存了fsimage和edits文件 内存中保证hdfs文件系统的访问效率，磁盘中保证hdfs文件系统的安全性 namenode的文件组成： fsimage文件：保存文件系统中直至上次checkpoint为止 的目录和文件元数据 edits文件：保存文件系统中直至上次 ...
分类：
其他好文 时间：
2019-03-01 17:13:53
阅读次数：
213
NameNode主要保存了下面的内容 1-Block和文件之间的关系，即某一个特定文件都有哪些Block； 2-每一个Block存储在什么位置（DataNode上面）； NameNode如何保证元数据的可靠性 fsimage 和内存中保存的元数据互为镜像； edits.log中存储了一段时间内所有的 ...
分类：
其他好文 时间：
2018-10-10 14:22:32
阅读次数：
200
元数据管理机制名词解释1、NameNode?hdfs-site.xml的dfs.name.dir属性?是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/（根）目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。文件包括：?fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息?edits:操作日志文件?fstime:保存最近一次checkpoint的时间
分类：
其他好文 时间：
2018-09-25 18:01:11
阅读次数：
169
先上图，文章以后再上 截图有先后 所以有些延迟，但是不耽误总体的理解 一般认为journalnode有2n+1台，如果大于等于n+1台成功写入，就算写入jn成功。 standby nn 会定时拉取3台jn节点（假设有3台jn）的edits_log做合并后，再与本地的fsimage元数据镜像文件做me ...
分类：
其他好文 时间：
2018-09-15 00:35:49
阅读次数：
357
