Kafka partition 副本迁移与broker上下线 1 前言 Controller 在初始化时,会利用 ZK 的 watch 机制注册很多不同类型的监听器,当监听的事件被触发时,Controller 就会触发相应的操作。 Controller 在初始化时,会注册多种类型的监听器,主要有以下 ...
分类:
其他好文 时间:
2019-06-09 18:12:10
阅读次数:
116
1.编辑主角色文件viminstall-zk.ymlhosts:‘{{target}}‘vars:host1:10.0.0.11host2:10.0.0.12host3:10.0.0.13tasks:include:tasks/install-zk.yml2.编辑tasks文件vimtasks/install-zk.ymlname:copyzookeeper-3.4.12.tar.
分类:
其他好文 时间:
2019-06-05 11:22:11
阅读次数:
85
前面文章我们已经知道 Flink 是什么东西了,安装好 Flink 后,我们再来看下安装路径下的配置文件吧。 安装目录下主要有 flink-conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。 flink-conf.yaml 基础配置 高可用性配置 容错和检 ...
分类:
其他好文 时间:
2019-05-28 09:39:10
阅读次数:
448
一、先安装jdk jdk 路径为/usr/local/java 二、再安装zookeeper zk路径为/use/local/zookeeper 三、创建zookeeper脚本 保存 四、zk 操作 ...
分类:
其他好文 时间:
2019-05-25 15:47:25
阅读次数:
512
一、Zookeeper是什么? Zookeeper是一种高效可靠的协同工作系统,它是一个基础组件,是一种服务组件,可以应用于各种场景。它可以提供的功能主要包括两个: 1、为Zookeeper的客户端(即任意使用zk的用户)管理少量数据,它存储的数据是<key, value>形式,key的格式类似目录 ...
分类:
其他好文 时间:
2019-05-20 17:03:24
阅读次数:
111
最近在学习zookeeper,发现zk真的是一个优秀的中间件。在分布式环境下,可以高效解决数据管理问题。在学习的过程中,要深入zk的工作原理,并根据其特性做一些简单的分布式环境下数据管理工具。本文首先对zk的工作原理和相关概念做一下介绍,然后带大家做一个简单的分布式配置中心。 zookeeper介绍 ...
分类:
其他好文 时间:
2019-05-19 09:33:30
阅读次数:
177
这篇博客针对最近的面试,把需要提高的知识点汇总一下,争取不断提高吧。希望今年能面到理想的公司。 挖财电话面:欠缺技术点 zk的原理paxos协议的原理、 map的容量大小、如何调整、什么时候调整 消息队列的强一致性如何保证、CAP 数据库的强一致性如何保证 爱库存现场面试:基本无难点面试官跟我差不多 ...
分类:
其他好文 时间:
2019-05-15 12:37:30
阅读次数:
146
zookeeperCLI1,查看所有命令启动zookeeper并使用bin目录下的zkCli.sh连接zookeeper服务器,输入任何zookeeper不能识别的命令,zookeeper都会列出所有可供使用的命令:[zk:127.0.0.1:2184(CONNECTED)105]kZooKeeper-serverhost:portcmdargsstatpath[watch]setpathdata
分类:
其他好文 时间:
2019-05-08 00:21:50
阅读次数:
198
Zookeeper用途场景: Zookeeper分布式服务框架是Apache Hadoop的一个子项目,主要是用来解决分布式应用经常遇到的一些数据管理问题。如:集群管理,统一命名服务,分布式配置管理,分布式消息队列,分布式说,分布式通知协调等。 越来越多的分布式开始依赖ZK,比如Storm,Hbas ...
分类:
其他好文 时间:
2019-05-04 14:39:06
阅读次数:
149
FATAL [Kafka Server 1], Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)java.lang.RuntimeException: A broker is ...
分类:
其他好文 时间:
2019-05-02 12:03:17
阅读次数:
859