【一、Zookeeper中的角色】①领导者（leader）Leader服务器为客户端提供读写服务。它是集群工作机制的核心，事务请求唯一调度者和处理者，保证集群事务请求处理的顺序性。②学习者（learner），学习者又分为跟随者和观察者：跟随者（follower）Follower服务器为客户端提供读服务，参与Leader选举过程，参与写操作“过半写成功”策略。处理非事务请求，转发事务请求给领导者，同
分类：
其他好文 时间：
2020-01-15 10:17:11
阅读次数：
113
ack应答机制 有三个值： 0：producer不需要确认消息，直接发送消息给leader，有没有收到消息，producer不管； 上图中去掉5、6步；速度块，安全性最低（当broker故障，会 丢失数据 ）。 1：producer发送消息，确保leader写入成功，followers不管；上图中， ...
分类：
其他好文 时间：
2020-01-13 12:54:21
阅读次数：
496
Hello，近期会分享最近的一个Kaggle上的比赛，NFL比赛的码数预测，通过这个比赛还是学到很多，虽然最后分数不理想。。。。这篇分享的内容适用于绝大多于的关于团队竞技类比赛的场景下的预测问题，比如足球、篮球、王者荣耀等等，算是从一个比较通用的角度来看待和分析建模，先附上Kaggle竞赛链接吧， ...
分类：
其他好文 时间：
2020-01-12 15:18:38
阅读次数：
72
1.消息发送机制 Kafka的ack机制。 当producer向leader发送数据时，可以通过request.required.acks参数来设置数据可靠性的级别： 1（默认）：这意味着producer在ISR中的leader已成功收到的数据并得到确认后发送下一条message。如果leader宕 ...
分类：
其他好文 时间：
2020-01-11 20:15:43
阅读次数：
92
1. 首先zookeeper是什么 zookeeper是一个开放源代码的分布式应用程序协调服务，可以把它看成是整个集群的管理者，监视者。 2. zookeeper能做什么 它可以实现诸如分布式应用配置管理、统一命名服务、状态同步服务、集群管理等功能。 3. zookeeper服务与kafka集群的联 ...
分类：
其他好文 时间：
2020-01-11 16:56:06
阅读次数：
322
1 什么是swarmSwarm是Docker公司推出的docker集群管理平台，它将一群Docker主机变成了一台单一的虚拟Docker主机。Swarm使用标准的Docker API接口，因此，任何支持Docker API的工具都能使用Swarm，包括Docker Compose、Docker Ma ...
分类：
其他好文 时间：
2020-01-11 16:48:09
阅读次数：
104
1.Zookeeper安装搭建Zookeeper集群并查看各服务器的角色停止Leader并查看各服务器的角色 1.1 安装Zookeeper1）编辑/etc/hosts ,所有集群主机可以相互 ping 通（在nn01上面配置，同步到node1，node2，node3）nn01 hadoop]# v ...
分类：
其他好文 时间：
2020-01-10 20:16:32
阅读次数：
93
今天是继续对之前 kafka 集群遗留问题的查漏补缺。 扩容后对副本进行再平衡： 今天检查 kafka manager 发现了一个 __consumer_offsets 主题（消费者分区位移保存主题）的 leader 副本只被部署在了已有三节点中的两个节点上。并没有将三个 broker 上都平均分布 ...
分类：
其他好文 时间：
2020-01-09 18:39:38
阅读次数：
83
原文链接： 组件端口及说明 CDH 7180： Cloudera Manager WebUI端口7182： Cloudera Manager Server 与 Agent 通讯端口 Hadoop 50070：HDFS WEB UI端口8020 ： 高可用的HDFS RPC端口9000 ： 非高可用的 ...
分类：
其他好文 时间：
2020-01-07 19:56:27
阅读次数：
135
一、zookeeper选举机制 1） 半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。 2）Zookeeper虽然在配置文件中并没有指定Master和Slave。但是，Zookeeper工作时，是有一个节点为Leader，其他则为Follower，Leader ...
分类：
其他好文 时间：
2020-01-02 21:00:10
阅读次数：
91
