Hadoop搭建HA遇到的坑 重要报错信息 Zookeeper日志 Cannot open channel to 2 at election address node03/172.17.0.4:3888 java.net.ConnectException: Connection refused (C ...
分类:
其他好文 时间:
2021-02-01 12:17:43
阅读次数:
0
2年前写的一篇旧文,文中的分析,以及探讨的问题和观点,至今仍有意义。 本文将以阿里云在GIAC的分享《云原生InfluxDB高可用架构设计》为例,剖析阿里云的自研InfluxDB集群方案的当前实现,在分析中会尽量聚焦的相对确定的技术、架构等,考虑到非一线信息,在个别细节上难免存在理解偏差,欢迎私聊讨 ...
分类:
数据库 时间:
2021-01-30 12:14:47
阅读次数:
0
在发生故障切换后,经常遇到的问题就是同步报错,数据库很小的时候,dump完再导入很简单就处理好了,但线上的数据库都150G-200G,如果用单纯的这种方法,成本太高,故经过一段时间的摸索,总结了几种处理方法。生产环境架构图目前现网的架构,保存着两份数据,通过异步复制做的高可用集群,两台机器提供对外服 ...
分类:
数据库 时间:
2021-01-26 12:44:04
阅读次数:
0
〇、前言 之前单机部署了squid代理服务器,现在实现一下高可用。 还有自定义squid的error页面 准备:两台centos7(1C2GB) ? 三个可用IP,一主一备一虚拟IP(VIP) 一、安装squid(两台) yum install squid -y # 具体配置略 二、安装keepal ...
分类:
其他好文 时间:
2021-01-26 12:39:30
阅读次数:
0
docker harbor 高可用 我们简要说明了单机版本harbor的配置。然而这种单机部署显然无法满足在生产中需求,必须要保证应用的高可用性。 目前有两种主流的方案来解决这个问题: 双主复制 多harbor实例共享后端存储 双主复制 harbor官方默认提供主从复制的方案来解决镜像同步问题,通过 ...
分类:
其他好文 时间:
2021-01-26 11:40:04
阅读次数:
0
第1章 Redis初识 Redis 是什么 开源 基于键值的存储服务系统 多种数据结构 strings hash linked list sets sorted sets 高性能、功能丰富 Redis 的特性 速度快 持久化 多种数据结构 支持多种编程语言 功能丰富 简单 主从复制 高可用、分布式 ...
分类:
其他好文 时间:
2021-01-25 11:08:42
阅读次数:
0
一 、 Hadoop 集群架构设计 二 、 搭建集群 修改IP地址与hostname以及部署zookeeper、hadoop见上一篇博文《Hadoop 完全分布式搭建》。 三 、修改配置文件 修改nna上的core-site.xml <configuration> <!-- 指定hdfs的names ...
分类:
其他好文 时间:
2021-01-19 12:16:24
阅读次数:
0
1 简介 MHA(Master High Availability)目前在MySQL高可用方面是一个相对成熟的解决方案,它由日本DeNA公司youshimaton(现就职于Facebook公司)开发,是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中, ...
分类:
数据库 时间:
2021-01-16 12:14:21
阅读次数:
0
Azure Storage Account(存储账户)包含所有Azure Storage的数据对象,包括Blob、Data Lake Gen2,File、Queue、Disk和Table等服务,该Storage Account为用户的Azure Storage数据提供了唯一的命名空间,可以通过HTT ...
分类:
其他好文 时间:
2021-01-16 12:00:10
阅读次数:
0
解决Hadoop HA集群 NameNode 无法自动故障转移(切换active) 在学习 HA 自动化配置,按照hadoop官网:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvaila ...
分类:
其他好文 时间:
2021-01-15 12:13:12
阅读次数:
0