一、通用优化 1.1、NameNode 的元数据备份使用 SSD 1.2、定时备份 NameNode 上的元数据 建议每小时或者每天备份，如果数据极其重要，可以5~10分钟备份一次。备份可以通过定时任务复制元数据目录即可。 1.3、为 NameNode 指定多个元数据目录 使用 dfs.name.d ...
分类：
系统相关 时间：
2020-05-30 21:52:59
阅读次数：
105
第8章 压缩和存储（Hive高级） 8.1 Hadoop源码编译支持Snappy压缩 8.1.1 资源准备 1、CentOS联网 配置CentOS能连接外网。Linux虚拟机 ping www.baidu.com 是畅通的。 注意：采用root角色编译，减少文件夹权限出现问题。2、jar包准备(ha ...
分类：
其他好文 时间：
2020-05-30 19:42:06
阅读次数：
53
Hadoop 简介： 两大核心：HDFS+MapReduce Hadoop1.0，Hadoop2.0 Linux：基础 shell，sudo Hadoop集群的部署与使用 先访问nameNode 存储DataNode JobTracker TaskTracker 分布式文件系统 伪分布式：就是吧名称 ...
分类：
其他好文 时间：
2020-05-29 17:44:12
阅读次数：
71
本k8s集群参考了 Michael 的 https://gitee.com/pa/kubernetes-ha-kubeadm-private 这个项目，再此表示感谢！ Michael的项目k8s版本为1.14.0，笔者基于他的项目进行改进，填了不少坑，搭建了 kubernetes 1.18.2高可用 ...
分类：
Web程序 时间：
2020-05-28 23:23:43
阅读次数：
144
概览 首先我们来认识一下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默 ...
分类：
其他好文 时间：
2020-05-28 18:13:32
阅读次数：
84
说明 strpos ( string $haystack , mixed $needle [, int $offset = 0 ] ) : int 返回 needle 在 haystack 中首次出现的数字位置。https://www.bzd6688.com/zhixiandianji/ 参数 ha ...
分类：
其他好文 时间：
2020-05-27 18:26:27
阅读次数：
58
Heartbeat 项目是 Linux-HA 工程的一个组成部分，它实现了一个高可用集群系统。心跳服务和集群通信是高可用集群的两个关键组件，在 Heartbeat 项目里，由 heartbeat 模块实现了这两个功能。本实验实现web服务器的主备双热备份系统Linux系统：Linux6.8规划:2台... ...
分类：
Web程序 时间：
2020-05-25 19:12:44
阅读次数：
87
hadoop完全分布式集群有一般集群和HA高可用集群 一般集群只有一个namenode节点，当namenode节点出现故障时，整个集群将无法使用。因此，相对的出现了HA集群 HA集群具有主备切换机制，有两个namenode节点，active/standby namenode，两个节点元数据同步， 当 ...
分类：
其他好文 时间：
2020-05-23 20:27:21
阅读次数：
63
hadoop namenode的工作机制 https://blog.csdn.net/u010846741/article/details/52369527 《Hadoop管理一》checkpoint原理和过程 Standby Namenode Checkpoint过程剖析 ...
分类：
其他好文 时间：
2020-05-23 12:59:51
阅读次数：
51
当 Hadoop的NameNode节点启动时，会进入安全模式阶段。在此阶段，DataNode会向NameNode上传它们数据块的列表，让NameNode得到块的位置信息，并对每个文件对应的数据块副本进行统计。当最小副本条件满足时，即一定比例的数据块都达到最小副本数，系统就会退出安全模式，而这需要一定 ...
分类：
其他好文 时间：
2020-05-22 17:16:55
阅读次数：
71
