深度剖析了各个基础技术的源码(ZooKeeper、Hive、Spark、Flink、Hadoop等)，对这些基础技术知识动态的排列组合，形成大数据全局架构观，并深入讲述大数据全局架构设计的方方面面，打造真正满足企业万亿级海量数据规模的数据中台，真正赋能前台业务。同时，在企业万亿级真实项目落地环节，采用高性能、高可用、高扩展的架构设计原则，技术上更是融合了企业级主流的离线架构和实时架构，带领大家构建
分类：
其他好文 时间：
2020-06-23 18:39:30
阅读次数：
58
ZooKeeper是什么？ ZooKeeper是一个开源的分布式应用程序协调系统。简称ZK，ZK是一个典型的分布式数据一致性解决方案，分布式应用程序可以基于它实现数据的发布/订阅、负载均衡、名称服务、分布式协调/通知、集群管理、Master选举、分布式锁盒分布式队列等等功能。它运行在JAVA环境之中 ...
分类：
其他好文 时间：
2020-06-22 14:45:56
阅读次数：
46
1）启动zookeeper 演示用的话，直接启动kafka自带的zookeeper即可： cd kafkaDirectory/kafka_2.12-2.5.0 bin/zookeeper-server-start.sh config/zookeeper.properties 生产上建议连接到zook ...
分类：
其他好文 时间：
2020-06-21 15:31:46
阅读次数：
127
Zookeeper 提供一个多层级的节点命名空间（节点称为 znode）。与文件系统不 同的是，这些节点都可以设置关联的数据，而文件系统中只有文件节点可以存放 数据而目录节点不行。 Zookeeper 为了保证高吞吐和低延迟，在内存中维护了这个树状的目录结构，这 种特性使得 Zookeeper 不能 ...
分类：
其他好文 时间：
2020-06-20 21:11:39
阅读次数：
67
Zookeeper 是一个典型的发布/订阅模式的分布式数据管理与协调框架，开发人员 可以使用它来进行分布式数据的发布和订阅。 通过对 Zookeeper 中丰富的数据节点进行交叉使用，配合 Watcher 事件通知机 制，可以非常方便的构建一系列分布式应用中年都会涉及的核心功能，如： 1、数据发布/ ...
分类：
其他好文 时间：
2020-06-20 18:56:45
阅读次数：
70
Zookeeper概述 一. 简介 Zookeeper是一款Yahoo（雅虎）开发的分布式协调框架，后来贡献给了Apache。 Zookeeper提供了中心化服务（注册中心）：统一配置信息、统一命名、提供分布式锁、提供组服务。 有三种运行模式 单机模式：只在一台服务器上安装，只能启动这个框架一部分的 ...
分类：
其他好文 时间：
2020-06-20 18:30:17
阅读次数：
65
一、概述 1.ZAB(Zookeeper Atomic Broadcast) 是专门为Zookeeper设计的一套广播协议 2.这个协议底层基于2PC算法进行设计，利用PAXOS算法进行改进 3.作用：原子广播和崩溃恢复 二、原子广播 1.原子广播主要保证Zookeeper集群中的所有节点的数据一致 ...
分类：
其他好文 时间：
2020-06-20 14:07:33
阅读次数：
53
一、概述 1.特点：不参与投票也不选举，但是会监听投票结果，然后根据投票结果来执行对应请求 场景：三个机房，杭州，青岛，美国，杭州有7001个 zk 服务节点，青岛有4000个 zk 服务节点，美国有4000 zk 服务节点 问题：选举节点个数过多，网络对选举的效率影响较大 选举A作为leader的 ...
分类：
其他好文 时间：
2020-06-20 13:50:33
阅读次数：
71
其实就是水平扩容了，Zookeeper 在这方面不太好。两种方式： 全部重启：关闭所有 Zookeeper 服务，修改配置之后启动。不影响之前客户端的 会话。 逐个重启：在过半存活即可用的原则下，一台机器重启不影响整个集群对外提供 服务。这是比较常用的方式。 3.5 版本开始支持动态扩容。 ...
分类：
其他好文 时间：
2020-06-20 13:05:53
阅读次数：
64
选举机制 1.过程 (1)第一阶段：数据恢复阶段。每一个节点(服务器)会寻找当前节点中的最大事务id (2)第二阶段：选举阶段。刚开始的时候，Zookeeper集群中的每一个节点都会推荐自己当leader，同时每一个节点会把自己节点的选举信息发送给其他的节点，经过比较之后，最后胜出的节点成为lead ...
分类：
其他好文 时间：
2020-06-19 15:39:03
阅读次数：
63
