[toc] 1 单机版启动 单机版启动大致可以分为如下步骤： 配置文件解析 初始化数据管理器 初始化网络IO管理器 数据恢复 对外服务 1.1 预启动 在 作为启动类，该类会进行如下操作： 解析 配置文件 清理历史数据 根据配置文件中服务器地址列表的数量，判断是单机还是集群启动 创建 真正启动ZK服 ...
分类：
其他好文 时间：
2019-04-05 00:35:57
阅读次数：
129
[Unit] Description=Zookeeper service After=network.target [Service] User=www Group=www SyslogIdentifier=zookeeper ExecStart=/usr/local/zookeeper/bin/z... ...
分类：
其他好文 时间：
2019-04-02 12:27:44
阅读次数：
185
[toc] 分布式相关问题 Zookeeper应用场景 其实zk的应用场景都是针对zk可以监听某个节点，并且可以感知到节点的修改或者节点的数据的修改，这样就可以利用根据节点或者节点的数据变化这一特性而应用到很多的场景中，只要抓住这一个特性就可以了。 zk实现分布式协调 这个其实是zk很经典的一个用法 ...
分类：
其他好文 时间：
2019-03-31 16:52:21
阅读次数：
174
先说一下环境，我用的是hadoop3.1.1 + zookeeper3.4.6 + hive3.1.1。采用多用户模式搭建hive，建表、导入数据等很正常。select如果是hdfs操作也很正常，但如果涉及到MapReduce操作就有个很奇怪的现象：每次启动hive以后，第一次select的时候可以 ...
分类：
其他好文 时间：
2019-03-19 16:54:21
阅读次数：
431
一、带版本控制的注册中心RPC框架 server端 客户端 二、模拟集群 新增发布类： 修改示例2类的注解 运行发布类1,2 linux 下查看节点显示： [zk: localhost:2181(CONNECTED) 13] ls /registrys/zoorpc.IHelloWorld[127. ...
分类：
其他好文 时间：
2019-03-19 01:27:02
阅读次数：
117
基本概念 首先我们要明确ZKFC 是什么，有什么作用： zkfc是什么？ ZooKeeperFailoverController 它是什么？是Hadoop中通过ZK实现FC功能的一个实用工具。 主要作用：作为一个ZK集群的客户端，用来监控NN的状态信息。 谁会用它？每个运行NN的节点必须要运行一个z ...
分类：
其他好文 时间：
2019-03-18 13:38:02
阅读次数：
232
一、基础配置 1、安装]# yum install -y git 2、配置用户信息配置用户联系方式：名字、email]# git config --global user.name "Mr.Zhang"]# git config --global user.email "zk@qq.com" 配置写 ...
分类：
其他好文 时间：
2019-03-15 12:00:55
阅读次数：
170
在准备好相应的配置之后，可以直接通过zkServer.sh 这个脚本进行服务的相关操作 1. 启动ZK服务: sh bin/zkServer.sh start 2. 查看ZK服务状态: sh bin/zkServer.sh status 3. 停止ZK服务: sh bin/zkServer.sh s ...
分类：
其他好文 时间：
2019-03-14 18:27:16
阅读次数：
139
写这篇文章的目的主要是为了记录下自己在zookeeper 锁上踩过的坑,以及踩坑之后自己的一点认识; 从zk分布式锁原理说起,原理很简单,大家也应该都知道,简单的说就是zookeeper实现分布式锁是通过在zk集群上的路径实现的,在获取分布式锁的时候在zk服务器集群节点上创建临时顺序节点,释放锁的时 ...
分类：
其他好文 时间：
2019-03-08 18:22:36
阅读次数：
201
分布式锁解决方案： 1.采用数据库乐观锁（不建议，性能不好，需要jdbc连接） 2.基于Redis实现分布式锁(setnx) 3.基于Zookeeper实现分布式锁。Zookeeper是分布式协调工具，在分布式解决方案中使用。 多个客户端(jvm)，同时在zk上面创建相同的一个临时节点，因为临时节点 ...
分类：
其他好文 时间：
2019-03-07 01:10:18
阅读次数：
189
