一、Zookeeper的特点： 1，zookeeper中存在一个leader和多个follower 2，集群中只要有半数以上的节点存活，zookeeper集群就能正常服务 3，全局数据一致：每天zookeeper的server中保存同一份相同的副本 4，更新顺序性：来自同一个client的更新请求按 ...
分类：
其他好文 时间：
2020-05-29 23:40:11
阅读次数：
120
""" 写在前面 大型工程往往需要很多人合作开发，比如在 Facebook 中，在 idea 提出之后，开发组和产品组首先会召开产品设计会， PM（Product Manager，产品经理） 写出产品需求文档，然后迭代； TL（Team Leader，项目经理）编写开发文档，开发文档中会定义不同模块 ...
分类：
编程语言 时间：
2020-05-28 21:51:26
阅读次数：
93
unclean.leader.election.enable 为true的话，意味着非ISR集合的broker 也可以参与选举，这样有可能就会丢数据，spark streaming在消费过程中拿到的 end offset 会突然变小，导致 spark streaming job挂掉。如果unclea ...
分类：
其他好文 时间：
2020-05-25 14:01:02
阅读次数：
89
kafka在Broker端提供了一个配置参数：unclean.leader.election,这个参数有两个值：true（默认）：允许不同步副本成为leader，由于不同步副本的消息较为滞后，此时成为leader，可能会出现消息不一致的情况。false：不允许不同步副本成为leader，此时如果发生 ...
分类：
其他好文 时间：
2020-05-24 18:08:38
阅读次数：
74
zk配置后集群选举失败，集群中全部无法进行选举，但是应用又起来了。 先讲原因：后经人指点，server的端口配置错误导致。server占用了client的端口号导致的。说明server.1=127.0.0.1:2181:3181中2181是server端口但是我又配置了clientPort=2181 ...
分类：
编程语言 时间：
2020-05-24 00:34:02
阅读次数：
110
Paxos 存在的问题 Paxos 算法的描述偏学术化，缺失了很多细节，没有办法直接应用于工程领域。实际工程应用中的分布式算法大多是 Paxos 的变种，验证这些算法的正确性也成为了一个难题。 举个例子：上一篇文章的 "最后" 介绍了一个应用 Paxos 算法的工程模型，这个模型存在明显的写性能瓶颈 ...
分类：
其他好文 时间：
2020-05-23 19:57:50
阅读次数：
52
概念 主从复制，就是将一台Redis服务器的数据，复制到其他Redis服务器，前者称之为主节点(master/leader),后者称之为从节点(slave/follower);数据的复制是单向的，只能由主节点到从节点。Master以写为主，Slave以读为主。 默认情况下，每台Redis服务器都是主 ...
分类：
其他好文 时间：
2020-05-10 01:40:12
阅读次数：
51
boss找leader统计course的数量，这是合成复用和最少知道（迪米特）， 统计这个方法既可以统计course，也可以统计javaCourse和pythonCourse，这是里氏替换和依赖倒置， 统计这个方法只有统计功能，这是职责单一和接口隔离， 如果要做课程优惠，不修改course的pric ...
分类：
其他好文 时间：
2020-05-09 01:26:07
阅读次数：
90
实习经历 在鹅厂实习了六个月，时间说快也快，现在趁着写毕设的空，整理下，聊聊自己的感受吧，顺便再赚取大伙的眼球。 搞开发的确实很忙：个人感觉，忙的原因并不是因为工作量太大，压缩了时间。可能我是实习生的原因，PM给大家任务时尽量都留buffer的，好几次leader跟pm都问我，工作紧不紧，忙不忙的过 ...
分类：
其他好文 时间：
2020-05-07 17:00:19
阅读次数：
111
