HDFS的热备份 其实现原理就是在联邦HDFS下，每两个NameNode形成一组。这组NameNode一个状态为Active一个状态为StandBy，通过ZooKeeper进行管理。 Active和StandBy之间可以进行通信。当其中Active的NameNode出故障的时候。会通过ssh或者sh ...
分类：
其他好文 时间：
2020-03-04 09:41:47
阅读次数：
74
[TOC] 介绍 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 安装 集群，需要把集群状态保存在 上，所以需要先安装 。 环境准备 主机名 | 系统 | I ...
分类：
其他好文 时间：
2020-03-03 20:52:02
阅读次数：
83
Docker作为眼下最流行的技术，已经越来越成为开发人员的必备技能。它可以方便的让我们快速的搭建起需要应用环境，像常用的redis、mq、tomcat、zookeeper、mysql、nginx镜像，在这里我总结一下使用方式，可以让你一篇文章就把这些知识点串链起来。
分类：
其他好文 时间：
2020-03-03 17:40:01
阅读次数：
72
如何安装和启动NiFi 端口配置 NiFi 嵌入式Zookeeper 配置最佳实践 安全配置 TLS生成工具包 用户认证 轻量级目录访问协议（LDAP） Kerberos的 OpenId Connect Apache Knox 多租户授权 授权人配置 Authorizers.xml安装程序 Apac ...
分类：
Web程序 时间：
2020-03-03 10:30:07
阅读次数：
93
Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 Zookeeper: 218 ...
分类：
Web程序 时间：
2020-03-03 01:09:01
阅读次数：
118
ZAB协议 Zookeeper的核心是原子广播，这个机制 保证了server之间的同步 。实现这个机制的协议叫做Zab协议。Zab协议有两种模式，分别是恢复模式和广播模式。当服务启动或者在领导者崩溃后，Zab就进入恢复模式。当领导者被选举出来，且大多数server的完成了和leader的状态同步之后 ...
分类：
其他好文 时间：
2020-03-02 22:41:09
阅读次数：
81
dubbo+zookeeper 下载 zookeeper https://zookeeper.apache.org/releases.html dubbo admin https://github.com/apache/dubbo admin/tree/master 打包dubbo admin成ja ...
分类：
其他好文 时间：
2020-03-02 20:21:41
阅读次数：
57
两阶段提交 2PC：在分布式系统中，每一个机器节点虽然能够明确的知道自己在进行事物操作过程的结果是失败或成功，但却无法直接获取其他分布式节点的操作结果，因此事物操作需要跨越多个分布式节点的时候，需要引入一个协调者统一调度所有节点的执行逻辑。 阶段一：提交事物请求 1. 事物询问 2. 执行事物 3. ...
分类：
其他好文 时间：
2020-03-02 14:59:08
阅读次数：
167
三阶段提交 三阶段提交在协调者和参与者中引入超时机制，并且把两阶段提交的第一阶段拆分为两步：询问，然后锁住资源，最后真正提交。 阶段一：CanCommit 1. 协调者向参与者发送commit请求，参与者如果可以提交就返回Yes响应，否则返回No响应。(如何判断是否可以提交不同的算法有不同的机制，但 ...
分类：
其他好文 时间：
2020-03-02 14:27:31
阅读次数：
97
什么是zookeeper ZooKeeper是用于维护配置信息，命名，提供分布式同步以及提供组服务的集中式服务。 zookeeper数据结构 zookeeper数据结构简单的可以看成树状结构。每个节点最大只能存储1M的数据。 zookeeper特点 主从：集群中一个领导者，多个跟随者 半数机制：集群 ...
分类：
其他好文 时间：
2020-03-02 09:17:24
阅读次数：
95
