1、安装zookeeper 因为zookeeper 与kafka 存在对应的版本,选择不当,将无法使用,所以两者都使用最新版本 下载地址:https://zookeeper.apache.org/releases.html 目录 下载并解压ZooKeeper软件压缩包后,可以看到zk包含以下的文件和 ...
分类:
系统相关 时间:
2020-06-08 12:37:32
阅读次数:
82
一、基础知识 1. 分布式理论 (1)什么是分布式系统? 分布式系统是若干独立计算机的集合,这些计算机对于用户来说就像单个相关系统。 分布式系统由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务 ...
分类:
编程语言 时间:
2020-06-07 21:30:53
阅读次数:
63
一、写在前面 现在面试,一般都会聊聊分布式系统这块的东西。通常面试官都会从服务框架(Spring Cloud、Dubbo)聊起,一路聊到分布式事务、分布式锁、ZooKeeper等知识。 所以咱们这篇文章就来聊聊分布式锁这块知识,具体的来看看Redis分布式锁的实现原理。 说实话,如果在公司里落地生产 ...
分类:
其他好文 时间:
2020-06-05 21:28:08
阅读次数:
66
kafka的高可用 一、高可用的由来 1.1 为何需要Replication 在Kafka在0.8以前的版本中,是没有Replication的,一旦某一个Broker宕机,则其上所有的Partition数据都不可被消费,这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同 ...
分类:
其他好文 时间:
2020-06-04 20:10:00
阅读次数:
56
Eureka 自我保护机制:某时刻某个服务不能用了,但是还会保存该服务信息(默认90s收不到心跳会设置该服务为宕机),不会立即清理,属于CAP里面的AP分支 Zookeeper 实时剔除宕机的服务,所以在服务可用性不如Eureka和Consul Consul go语言写的,所以在维护和个性化方面代价 ...
分类:
编程语言 时间:
2020-06-04 15:26:13
阅读次数:
78
前言 之前的Zookeeper协议篇-Paxos算法与ZAB协议通过了解Paoxs算法开始,到Zab协议的两大特性:崩溃恢复和消息广播,学习了Zookeeper是如何通过Zab协议实现高可用,本篇主要解析Zookeeper的启动流程 单机模式启动流程 我们知道,Zookeeper使用中分为单机和集群 ...
分类:
其他好文 时间:
2020-06-04 10:24:44
阅读次数:
68
生态 Spark Core:最重要,其中最重要的是RDD(弹性分布式数据集) Spark SQL Spark Streaming Spark MLLib:机器学习算法 Spark Graphx:图计算 特点 针对大规模数据处理的快速通用引擎 基于内存计算 速度快,易用,兼容性强 体系架构 主节点:C ...
分类:
数据库 时间:
2020-06-03 20:48:29
阅读次数:
89
1、什么是zookeeper? 1、zookeeper是一个分布式协调技术,是分布式数据一致性解决方案的典型代表,力求做到强一致性但最终实现的是最终一致性,采用CAP理论的AP,用来构建高可用分布式主备系统 2、zookeeper能干什么? 1、数据发布/订阅 2、命名服务 3、集群管理 4、Mas ...
分类:
其他好文 时间:
2020-06-03 13:54:41
阅读次数:
88
他的个人情况
他是一个普通的双非本科生,开发4年多(Java后端),平时学习也比较勤学好问,对待工作也极度认真负责,对自己进入大厂工作还是很有信心的,他的方向是Java,也知道现在Java的竞争比较激烈,大厂比较难进,为此他也是在很早之前就开始筹备了,时至今日,在内推下他也如愿以偿的成功拿到阿里的o... ...
分类:
其他好文 时间:
2020-06-02 14:49:17
阅读次数:
207
前言 可以自行去学习一下Zookeeper中的系统模型,节点特性,权限认证以及事件通知Watcher机制相关知识,本篇主要学习Zookeeper一致性算法和满足分布式协调的Zab协议 Paxos算法 Paxos算法是莱斯利*兰伯特在1990年提出的一种基于消息传递并且具有高度容错特性的一致性算法,是 ...
分类:
编程语言 时间:
2020-06-02 11:14:57
阅读次数:
72