zk报错 分析问题的方法 。 起不来服务 然后去log 目录下 查看zookeeper.out的日志 一般放在/tmp目录下或者 zk的home目录下. [root@hadoop103 ~]# tail -f -n 100 zookeeper.out 2020-06-23 04:24:01,764 ...
分类：
其他好文 时间：
2020-06-23 21:32:42
阅读次数：
72
ZooKeeper是什么？ ZooKeeper是一个开源的分布式应用程序协调系统。简称ZK，ZK是一个典型的分布式数据一致性解决方案，分布式应用程序可以基于它实现数据的发布/订阅、负载均衡、名称服务、分布式协调/通知、集群管理、Master选举、分布式锁盒分布式队列等等功能。它运行在JAVA环境之中 ...
分类：
其他好文 时间：
2020-06-22 14:45:56
阅读次数：
46
脚本通过ssh检查大数据环境中各节点的相关实例是否运行正常，包括：zk、hadoop-ha、hdfs、yarn、hbase、hive-metastore、hiveserver2、kafka。 注意修改成自己的集群节点名称及kafka版本 #!/bin/bash # 定义机器名前缀 HN_PREFIX ...
分类：
系统相关 时间：
2020-06-20 16:44:49
阅读次数：
68
一、概述 1.特点：不参与投票也不选举，但是会监听投票结果，然后根据投票结果来执行对应请求 场景：三个机房，杭州，青岛，美国，杭州有7001个 zk 服务节点，青岛有4000个 zk 服务节点，美国有4000 zk 服务节点 问题：选举节点个数过多，网络对选举的效率影响较大 选举A作为leader的 ...
分类：
其他好文 时间：
2020-06-20 13:50:33
阅读次数：
71
每一个副本 leader 管理自己的 isr 列表，进行扩缩，并写入 zk 把某些 replica 加入到 isr 中：如果 follower 的 offset 大于等于 leader 的 HW，则把该 replica 加入到 isr 中 // kafka.cluster.Partition#may ...
分类：
其他好文 时间：
2020-06-16 23:41:35
阅读次数：
56
服务提供者服务暴露过程是，当服务提供者NettyServer启动完成后，向ZK注册订阅的过程 服务消费者服务暴露过程是，创建代理对象的时候，注ZK注册订阅的过程 一、服务提供方 注册服务：调用register方法，ZookeeperRegistry中的doRegister方法。zk节点上生成prov ...
分类：
其他好文 时间：
2020-06-16 13:14:31
阅读次数：
192
kafka启动（需要先启动zk）： bin/zookeeper-server-start.sh -daemon config/zookeeper.properties bin/kafka-server-start.sh -daemon config/server.properties kafka停止 ...
分类：
其他好文 时间：
2020-06-08 12:58:18
阅读次数：
252
1、安装zookeeper 因为zookeeper 与kafka 存在对应的版本，选择不当，将无法使用，所以两者都使用最新版本 下载地址：https://zookeeper.apache.org/releases.html 目录 下载并解压ZooKeeper软件压缩包后，可以看到zk包含以下的文件和 ...
分类：
系统相关 时间：
2020-06-08 12:37:32
阅读次数：
82
Zookeeper保证了CP（C：一致性，P：分区容错性），Eureka保证了AP（A：高可用） （1）当向注册中心查询服务列表时，我们可以容忍注册中心返回的是几分钟以前的信息，但不能容忍直接down掉不可用。就是说，服务注册功能对高可用性要求比较高，但zk会出现这样一种情况，当master节点因为 ...
分类：
其他好文 时间：
2020-05-31 00:57:27
阅读次数：
93
zookeeper 是一个分布式的协调组件，早期版本的kafka用zk做meta信息存储，consumer的消费状态，group的管理以及 offset的值。考虑到zk本身的一些因素以及整个架构较大概率存在单点问题，新版本中逐渐弱化了zookeeper的作用。新的consumer使用了kafka内部 ...
分类：
其他好文 时间：
2020-05-25 23:38:48
阅读次数：
296
