zookeeper 是一个分布式的协调组件,早期版本的kafka用zk做meta信息存储,consumer的消费状态,group的管理以及 offset的值。考虑到zk本身的一些因素以及整个架构较大概率存在单点问题,新版本中逐渐弱化了zookeeper的作用。新的consumer使用了kafka内部 ...
分类:
其他好文 时间:
2020-05-25 23:38:48
阅读次数:
296
docker env:利用docker快速搭建创建开发环境 配置地址: "https://github.com/leeyazhou/docker env.git" build test environment, like mysql, redis,zookeeper and so on. 快速开始 ...
分类:
其他好文 时间:
2020-05-25 17:32:17
阅读次数:
51
1.介绍 What is Curator? Curator n ?kyoor??āt?r: a keeper or custodian of a museum or other collection - A ZooKeeper Keeper. Apache Curator is a Java/JVM ...
Zookeeper作为分布式的服务框架,虽然是java写的,但是强大的C#也可以连接使用。 C#要连接使用Zookeeper,需要借助第三方插件,而现在主要有两个插件可供使用,分别是ZooKeeperNetEx和Zookeeper.Net Zookeeper.Net好像是是Apache官方提供的,但 ...
一.所需依赖介绍 Dubbo-admin是Dubbo RPC框架的“管理端”,可以对注册的服务(provider)和服务调用方(comsumer)进行服务治理,包括路由、监控、配置等功能; Dubbo一般都是使用zookeeper来进行管理服务注册,而dubbo-admin查看哪些注册了哪些服务,也 ...
分类:
其他好文 时间:
2020-05-24 16:47:58
阅读次数:
51
使用zookeeper实现分布式锁是分布式锁的实现方式的一种,相对于redis的实现,zookeeper的显现能够实现锁的获得顺序,不出现死锁等特点,关于zookeeper分布式锁的实现原理大致总结如下: 客户端向zookeeper的某一个持久节点下注册临时有序节点 获取该父节点下的所有临时有序节点 ...
分类:
其他好文 时间:
2020-05-24 16:33:33
阅读次数:
43
1、相关知识 先说一下两种负载均衡的方式,一种是静态的,例如使用nginx,需要把服务端配置到nginx里,当增删节点时手动维护。另一种是动态的,当服务启动时动态的将服务注册到注册中心,一般注册中心保存的是服务的IP、端口,调用方只需知道注册中心的IP、端口、服务名,就能获取到服务的IP、端口信息。 ...
分类:
编程语言 时间:
2020-05-24 12:15:05
阅读次数:
88
在分布式系统中,为保证同一时间只有一个客户端可以对共享资源进行操作,需要对共享资源加锁来实现,常见有三种方式: 基于数据库实现分布式锁 基于 Redis 实现分布式锁 基于 Zookeeper 实现分布式锁 高并发下数据库锁性能太差,本文不做探究。仅针对Redis 和 Zookeeper 实现的分布 ...
分类:
其他好文 时间:
2020-05-24 09:53:33
阅读次数:
65
zk配置后集群选举失败,集群中全部无法进行选举,但是应用又起来了。 先讲原因:后经人指点,server的端口配置错误导致。server占用了client的端口号导致的。说明server.1=127.0.0.1:2181:3181中2181是server端口但是我又配置了clientPort=2181 ...
分类:
编程语言 时间:
2020-05-24 00:34:02
阅读次数:
110
1、Hbase集群的高可用性与伸缩性 HBase可以实现对Regionserver的监控,当个别Regionserver不可访问时,将其负责的分区分给其他Regionsever,其转移过程较快,因为只需要将分区的相关信息转移。Hlog和表中数据实际存储在HDFS上,本身具有多副本机制容错。 Mast ...
分类:
其他好文 时间:
2020-05-23 20:00:09
阅读次数:
88