一、Kafka 简介 1.基本概念 Kafka 是一个分布式的基于发布/订阅消息系统,主要应用于大数据实时处理领域,其官网是:http://kafka.apache.org/。Kafka 是一个分布式、支持分区的(Partition)、多副本的(Replica),基于 ZooKeeper 协调的发布 ...
分类:
编程语言 时间:
2020-07-22 15:56:17
阅读次数:
64
分布式领域,CP模型下 数据一致性协议至关重要,不然两边数据不一致容易出现数据读混乱问题。像Etcd Consul zookeeper Eureka ,Redis集群方案这些中间件 都有一致性算法来保证数据一致性像Redis集群数据同步采用grosip是一个体现最终一致性协议算法,其他的算是强一致... ...
分类:
其他好文 时间:
2020-07-22 11:23:30
阅读次数:
70
1 节点类型 2 Stat 结构体 1)czxid-创建节点的事务 zxid 每次修改 ZooKeeper 状态都会收到一个 zxid 形式的时间戳,也就是 ZooKeeper 事务 ID。 事务 ID 是 ZooKeeper 中所有修改总的次序。每个修改都有唯一的 zxid,如果 zxid1 小于 ...
分类:
其他好文 时间:
2020-07-21 14:07:08
阅读次数:
60
全部的readHost与stand by writeHost参与select语句的负载均衡,简单的说,当双主双从模式(M1->S1,M2->S2,并且M1与 M2互为主备),正常情况下,M2,S1,S2都参与select语句的负载均衡。
分类:
数据库 时间:
2020-07-21 11:39:13
阅读次数:
132
Error: Could not find or load main class org.apache.zookeeper.server.quorum.QuorumPeerMain 1. 安装maven # 安装wget http://mirrors.hust.edu.cn/apache/maven ...
分类:
Web程序 时间:
2020-07-21 01:23:54
阅读次数:
241
1.集群规划 在 hadoop102、hadoop103 和 hadoop104 三个节点上部署 Zookeeper。 2.解压安装 (1)解压 Zookeeper 安装包到/opt/module/目录下 [atguigu@hadoop102 software]$ tar -zxvf zookeep ...
分类:
其他好文 时间:
2020-07-21 01:06:25
阅读次数:
87
全部的readHost与stand by writeHost参与select语句的负载均衡,简单的说,当双主双从模式(M1->S1,M2->S2,并且M1与 M2互为主备),正常情况下,M2,S1,S2都参与select语句的负载均衡。
分类:
数据库 时间:
2020-07-20 23:03:20
阅读次数:
111
1.创建一个topic (它有一个分区和副本) bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 2.查看已有的top ...
大多数应用程序在大部分时间都是在响应数据读取事件,而数据的读写并发可能会带来数据脏读(读线程在读取的数据,写线程已经修改但未提交)等问题,基于类似的可能会发生对同一个资源进行读写操作的场景,我们需要实现读写锁来保证数据准确,读写锁是指读线程之间不存在互斥,读写及写写之间存在互斥我们可以用一个表格来列 ...
分类:
其他好文 时间:
2020-07-20 13:14:18
阅读次数:
52
服务器具有四种状态,分别是 LOOKING、FOLLOWING、LEADING、OBSERVING。 1、LOOKING:寻找 Leader 状态。当服务器处于该状态时,它会认为当前集群中 没有 Leader,因此需要进入 Leader 选举状态。 2、FOLLOWING:跟随者状态。表明当前服务器 ...
分类:
其他好文 时间:
2020-07-20 10:46:28
阅读次数:
119