Linux 安装Zookeeper 1. 下载 wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper 3.4.14/ 2. 解压 tar zxvf zookeeper 3.4.14.tar.gz 3. 在conf 目 ...
分类：
系统相关 时间：
2019-09-26 21:04:41
阅读次数：
66
mycat分库分表是mycat最主要的功能 1.server.xml配置 2.schema.xml配置 3.rule.xml文件配置 ...
分类：
其他好文 时间：
2019-09-24 21:06:29
阅读次数：
102
一、集群规划这里搭建一个3节点的Spark集群，其中三台主机上均部署Worker服务。同时为了保证高可用，除了在hadoop001上部署主Master服务外，还在hadoop002和hadoop003上分别部署备用的Master服务，Master服务由Zookeeper集群进行协调管理，如果主Master不可用，则备用Master会成为新的主Master。二、前置条件搭建Spark集群前，需要保证
分类：
其他好文 时间：
2019-09-22 01:43:37
阅读次数：
98
canal本质就是"冒充"从库,通过订阅mysql bin log来获取数据库的更改信息。 mysql配置(my.cnf) mysql需要配置my.cnf开启bin log日志并且将bin log日志格式设置为row, 同时为了防止bin log日志占用过多磁盘,可以设置一下过期时间, canal配 ...
分类：
数据库 时间：
2019-09-22 01:31:09
阅读次数：
151
[TOC] kafka（2.2.1）（kerberos+LDAP+Sentry）访问使用 一.访问的kafka的一些配置（已集成kerberos ） 由于kafka集成了kerberos 所以需要通过kerberos的认证 认证方式有两种 1.通过配置文件 2.通过keytab文件 我们这里采用第一 ...
分类：
其他好文 时间：
2019-09-11 21:24:58
阅读次数：
123
zookeeper实现组成员管理的Master-Worker模式。
分类：
其他好文 时间：
2019-09-11 15:42:15
阅读次数：
62
1.kafka架构 kafka处理消息大概流程 + 生产者发送消息给kafka服务器 + 消费者从kafka服务器（broker）读取消息 + kafka服务器依靠zookeeper集群进行服务协调管理 2.kafka基本术语 + message （消息） 生产消费的基本单位。 + topic（主题 ...
分类：
其他好文 时间：
2019-09-06 01:45:41
阅读次数：
121
1. 安装包下载 官方下载地址 选择一个具体的版本进行下载安装，官方安装包也可能有问题，一般不要选择最新的版本。 下载解压后查看目录是否有缺失，比如 缺失lib 目录会导致找不到主类。 2. 解压安装 tar -zxvf zookeeper-3.4.9.tar.gz 解压后目录如下： 重命名 con ...
分类：
其他好文 时间：
2019-09-04 00:24:35
阅读次数：
94
安装步骤 上传gz包 通过rz命令，将zookeeper 3.4.10.tar.gz安装包上传到/opt/soft/文件夹下。 解压包 通过tar命令解压zookeeper到/opt/module/目录下。 新建zkData目录 在zookeeper的解压目录下新建zkData文件夹，用于数据文件目 ...
分类：
其他好文 时间：
2019-09-02 14:09:01
阅读次数：
128
