数据迁移使用场景 冷热集群数据分类存储,详见上述描述. 集群数据整体搬迁.当公司的业务迅速的发展,导致当前的服务器数量资源出现临时紧张的时候,为了更高效的利用资源,会将原A机房数据整体迁移到B机房的,原因可能是B机房机器多,而且B机房本身开销较A机房成本低些等. 数据的准实时同步.数据的准实时同步与 ...
分类：
其他好文 时间：
2021-06-10 18:05:50
阅读次数：
0
前言： 在上篇中我们了解了Kafka是什么，为什么需要Kafka，以及Kafka的基本架构和各自的作用是什么，这篇文章中我们将从kafka内部每一个组成部分去看kafka 是如何保证数据的可靠性以及工作机制。因为时间问题，或许排版多有瑕疵，有些内容未能做到详尽。待之后有空会前来填坑。话不多说，正片开 ...
分类：
其他好文 时间：
2021-06-10 17:56:07
阅读次数：
0
最近实时的项目有个需求，就是要查看集群中各个节点下面跑的项目的Log。于是想到了用Nginx将log目录暴露出来集成到现有的监控平台中去。nginx的安装配置在前面的博客中有提到过，这里记录下如何配置访问log目录。 1 首先，设置权限 配置需要访问的log目录有权限 chmod -R /.../. ...
分类：
其他好文 时间：
2021-06-09 15:33:18
阅读次数：
0
docker安装kafka 1、下载zookeeper镜像 docker pull wurstmeister/zookeeper 2、下载kafka镜像 docker pull wurstmeister/kafka 3、查看镜像 docker images 4、单机方式先启动zookeeper容器 ...
分类：
系统相关 时间：
2021-06-08 22:39:02
阅读次数：
0
一、简介 MHA（Master HA）是一款开源的 MySQL 的高可用程序，它为 MySQL主从复制架构提供了 automating master failover （自动化主故障转移）功能。MHA 在监控到 master 节点故障时，会提升其中拥有最新数据的 slave 节点成为新的master ...
分类：
其他好文 时间：
2021-06-07 21:17:17
阅读次数：
0
1.Redis 真的只有单线程吗？ 通常说，Redis 是单线程，主要是指 Redis 的网络 IO 和键值对读写是由一个线程来完成的，这也是 Redis 对外提供键值存储服务的主要流程。但 Redis 的其他功能，比如持久化、异步删除、集群数据同步等，其实是由额外的线程执行的。 2.Redis 为 ...
分类：
编程语言 时间：
2021-06-07 20:43:17
阅读次数：
0
运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题： sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sq ...
分类：
数据库 时间：
2021-06-07 20:36:05
阅读次数：
0
摘要：本文通过介绍双集群的架构、log结构、分析步骤来介绍双集群容灾的问题分析方法。 本文分享自华为云社区《从原理到实践，手把手带你轻松get数仓双集群容灾》，原文作者：Puyol 。 双集群原理 GaussDB(DWS) 的容灾方案是一个双集群同步的架构，即两套独立集群定期同步数据以达到容这的目的 ...
分类：
其他好文 时间：
2021-06-07 20:34:45
阅读次数：
0
本次由于安全漏洞原因，需要降redis3升级为redis6，涉及到数据迁移及校验等，用阿里redis-shake迁移工具迁移，并用阿里RedisFullCheck工具进行数据比对 一、新redis安装启动 开启老版本redis的哨兵模式，编辑完sentinel.conf后执行哨兵模式启动，主节点均要 ...
分类：
其他好文 时间：
2021-06-07 20:24:55
阅读次数：
0
locker 分布式锁简介 分布式锁目前实现大部分方式 使用mysql 使用redis 使用zookeeper 基于此,成熟的案例有比如redisson 这种官方比较推荐的方案,为了深入研究,准备在这个项目中复现这3种形式的锁 锁的用途 分布式锁主要可以独立于服务之外,主要的目的是在集群中保证同一时 ...
分类：
其他好文 时间：
2021-06-07 20:07:12
阅读次数：
0
