解决Hadoop HA集群 NameNode 无法自动故障转移（切换active） 在学习 HA 自动化配置，按照hadoop官网:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvaila ...
分类：
其他好文 时间：
2021-01-15 12:13:12
阅读次数：
0
首先还是修改flink安装目录的conf目录下flink-conf.yaml文件，找到如下的三个配置，把原本的注释放开，然后配置自己的hdfs地址和zookeeper地址。 需要注意的是，我这里的hdfs是之前的ha集群，mycluster是我的hdfs的集群名，至于后边的内容会在hdfs中创建路径 ...
分类：
其他好文 时间：
2020-12-01 12:17:20
阅读次数：
7
Hadoop HA 集群搭建 Hadoop HA 集群搭建Hadoop 完全分布式环境搭建集群规划集群部署前提Hadoop伪分布式环境搭建配置IP映射安装 Java 与 Hadoop配置 Hadoop配置 MapReduce 与 YARN集群配置配置基本参数配置 SSH 免密登录格式化 HDFS启动 ...
分类：
其他好文 时间：
2020-09-18 03:33:30
阅读次数：
38
前提 Canal上一个正式版是于2019-9-2发布的v1.1.4，笔者几个月前把这个版本的Canal推上了生产环境，部署了HA集群。过程中虽然遇到不少的坑，但是在不出问题的前提下，Canal的作用还是非常明显的。上周的一次改造上线之后，去掉了原来对业务系统订单数据通过RabbitMQ实时推送的依赖 ...
分类：
其他好文 时间：
2020-09-17 14:03:53
阅读次数：
64
一、HDFS-HA集群配置 1.环境准备 1. 修改IP 2. 修改主机名及主机名和IP地址的映射 3. 关闭防火墙 4. ssh免密登录 5. 安装JDK，配置环境变量等 2.规划集群 hadoop102 hadoop103 hadoop104 NameNode NameNode JournalN ...
分类：
其他好文 时间：
2020-07-28 22:19:09
阅读次数：
77
8.3 HDFS-HA集群配置 8.3.1 环境准备 1. 修改IP 2. 修改主机名及主机名和IP地址的映射 3. 关闭防火墙 4. ssh免密登录 5. 安装JDK，配置环境变量等 8.3.2 规划集群 表3-1 hadoop102 hadoop103 hadoop104 NameNode Na ...
分类：
其他好文 时间：
2020-07-26 23:10:23
阅读次数：
85
背景： 预生产环境，使用kubeadm部署的HA集群如下。 NAME STATUS ROLES AGE VERSIONsbfk1test Ready master 37d v1.15.2sbfk2test Ready master 37d v1.15.2sbfk3test Ready <none> ...
分类：
Web程序 时间：
2020-07-17 22:11:32
阅读次数：
105
hadoop完全分布式集群有一般集群和HA高可用集群 一般集群只有一个namenode节点，当namenode节点出现故障时，整个集群将无法使用。因此，相对的出现了HA集群 HA集群具有主备切换机制，有两个namenode节点，active/standby namenode，两个节点元数据同步， 当 ...
分类：
其他好文 时间：
2020-05-23 20:27:21
阅读次数：
63
https://www.cnblogs.com/swordfall/p/8667409.html Zookeeper安装使用及工作原理分析 https://www.cnblogs.com/yuyijq/p/3424473.html Zookeeper能做什么https://www.cnblogs.c ...
分类：
其他好文 时间：
2020-05-17 09:21:36
阅读次数：
58
一、工具准备 1、7台虚拟机（至少需要3台），本次搭建以7台为例，配好ip,关闭防火墙，修改主机名和IP的映射关系（/etc/hosts），关闭防火墙 2、安装JDK,配置环境变量 二、集群规划： 集群规划（7台）： 主机名 IP 安装的软件 运行的进程 hadoop01 192.168.*.121 ...
分类：
其他好文 时间：
2020-04-03 00:25:12
阅读次数：
82
