运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题:sqoop依赖zookeeper,所以必须配置ZOOKEEPER_HOME到环境变量中。sqo ...
分类:
数据库 时间:
2021-06-19 19:24:57
阅读次数:
0
在实现分库分表的情况下,数据库自增主键已经无法保证在集群中是全局唯一的主键了,因此mycat提供了全局的sequence,并且提供了本地配置、数据库配置等多种实现方式。 1. 本地文件方式 采用该方式,mycat将sequence配置到classpath目录的sequence_conf.proper ...
分类:
其他好文 时间:
2021-06-19 18:40:35
阅读次数:
0
1.下载Zookeeper 官网 使用wget下载: wget https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz 2.解压资源 # 解压资源到指定目录下 tar ...
分类:
其他好文 时间:
2021-06-18 20:04:20
阅读次数:
0
docker安装kafka 1、下载zookeeper镜像 docker pull wurstmeister/zookeeper 2、下载kafka镜像 docker pull wurstmeister/kafka 3、查看镜像 docker images 4、单机方式先启动zookeeper容器 ...
分类:
系统相关 时间:
2021-06-08 22:39:02
阅读次数:
0
运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题: sqoop依赖zookeeper,所以必须配置ZOOKEEPER_HOME到环境变量中。sq ...
分类:
数据库 时间:
2021-06-07 20:36:05
阅读次数:
0
locker 分布式锁简介 分布式锁目前实现大部分方式 使用mysql 使用redis 使用zookeeper 基于此,成熟的案例有比如redisson 这种官方比较推荐的方案,为了深入研究,准备在这个项目中复现这3种形式的锁 锁的用途 分布式锁主要可以独立于服务之外,主要的目的是在集群中保证同一时 ...
分类:
其他好文 时间:
2021-06-07 20:07:12
阅读次数:
0
2. zookeeper安装 2.1 镜像地址 镜像库地址:http://archive.apache.org/dist/zookeeper/ 我们可以看到,zk的版本是比较多的,我们在使用的时候,应该尽量避免最新的版本 因为新版本中或许会存在某些bug 新版本中的错误,你可能百度也搜不到 所以我们 ...
分类:
其他好文 时间:
2021-06-07 20:00:47
阅读次数:
0
我们在开发时,需要知道Zookeeper注册中心都注册了哪些服务,有哪些消费者来消费这些服务。 我们可以通过部署一个管理中心来实现。其实管理中心就是一个web应用,部署到tomcat即可。 安装步骤: (1)将资料中的dubbo-admin-2.6.0.war文件复制到tomcat的webapps目 ...
分类:
其他好文 时间:
2021-06-02 20:49:21
阅读次数:
0
概述 Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目 动物园管理员 工作机制 Zoekeeper从设计模式角度来理解:是一-个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化Zookeepe ...
分类:
其他好文 时间:
2021-06-02 18:07:32
阅读次数:
0
ShardingSphere你还不会吗?(第一篇) 作者:星晴(当地小有名气,小到只有自己知道的杰伦粉) 一.需求 我们做项目的时候,数据量比较大,单表千万级别的,需要分库分表,于是在网上搜索这方面的开源框架,最常见的就是mycat,sharding-sphere,最终我选择后者,用它来做分库分表比 ...
分类:
其他好文 时间:
2021-06-02 15:46:34
阅读次数:
0