第一种方式: 1.修改server.properties文件 delete.topic.enable=true auto.create.topics.enable=false 2.确保所有的生产者,消费者都已经停掉 3.执行bin/kafka-topics.sh --delete --zookeep ...
分类:
其他好文 时间:
2019-09-30 09:59:54
阅读次数:
224
思考:大规模数据如何检索? 如:当系统数据量上了10亿、100亿条的时候,我们在做系统架构的时候通常会从以下角度去考虑问题: 1)用什么数据库好?(mysql、sybase、oracle、达梦、神通、mongodb、hbase…) 2)如何解决单点故障;(lvs、F5、A10、Zookeep、MQ) ...
分类:
其他好文 时间:
2019-09-05 09:16:37
阅读次数:
119
什么是分布式锁 概述 为了防止分布式系统中的多个进程之间相互干扰,我们需要一种分布式协调技术来对这些进程进行调度。而这个分布式协调技术的核心就是来实现这个 分布式锁 。 分布式锁应具备的条件 在分布式系统环境下,一个方法在同一时间只能被一个机器的一个线程执行 高可用的获取锁与释放锁 高性能的获取锁与 ...
分类:
其他好文 时间:
2019-09-01 14:18:27
阅读次数:
85
高可靠设计,Etcd 集群,Kubernetes 三主节点,保证集群的高可用性。 基于 GlusterFS /nfs集群,在生产环境和非生产环境下提供存储卷服务。 Flannel+VXLAN,提供可靠的网络服务。 提供分布式监控和统一日志中心,全方位的应用监管能力。 支持 Redis/ZooKeep ...
分类:
其他好文 时间:
2019-06-29 10:58:38
阅读次数:
114
安装环境:Linux:centos6.4Jdk:1.7以上版本 Zookeeper是java开发的可以运行在windows、linux环境。需要先安装jdk。安装步骤:第一步:安装jdk第二步:把zookeeper的压缩包上传到linux系统。第三步:解压缩压缩包 tar -zxvf zookeep ...
分类:
系统相关 时间:
2019-04-25 10:28:06
阅读次数:
185
如图所示, 输入 zkServer.sh start 显示如下: Starting zookeeper ... STARTED 可是输入jps指令 却找不到zookeeper进程 去zkdata文件目录下查看myid文件 vi /home/hadoop/bigdatasoftware/zookeep ...
分类:
系统相关 时间:
2019-04-10 21:43:57
阅读次数:
2759
Kafka需要使用Zookeeper进行调度,本文描述的主要内容有:使用Kafka自带的zookeeper进行安装(可参看kafka自带的说明文件)为Kafka和zookeep配置CentOS下的服务为Kafka和zookeep配置Firwalld相关的文件前提安装环境为CentOS7.x,官网下载最新版的Kafka,解压至/opt/kafka中(可以创建一个指向当前版本的软连接)。tar-zxf
分类:
其他好文 时间:
2019-04-10 00:46:49
阅读次数:
665
疯狂创客圈 Java 分布式聊天室【 亿级流量】实战系列之 30【 "博客园 总入口" 】 [toc] 写在前面 ? 大家好,我是作者尼恩。目前和几个小伙伴一起,组织了一个高并发的实战社群【疯狂创客圈】。正在开始 高并发、亿级流程的 IM 聊天程序 学习和实战 下面结合Netty + Zookeep ...
分类:
Web程序 时间:
2019-01-10 22:58:46
阅读次数:
573
ActiveMQ集群的三种模式,如图(官网) 1、第一种模式基于共享文件系统实现的,例如NFS、GlusterFs 2、第二种模式是共享一个数据库 3、第三种依赖Zookeeper协调分布式服务 如下记载基于第三种方式的安装与配置,基于3台云服务器(m1,m1s1,m1s2) 一、安装Zookeep ...
分类:
数据库 时间:
2018-12-06 20:46:29
阅读次数:
274
目录 前言 一、 搭建环境 1.1集群规划 二、 集群的相关配置 2.1 新建用户hadoop 2.2 更改主机名 2.3 主机和IP做相关映射 2.4 SSH免密码登录 2.5 时间配置 2.6 整体安装目录安排 三、 Hadoop HA环境搭建 3.1 JDK配置 3.2 安装配置Zookeep ...
分类:
其他好文 时间:
2018-12-05 18:33:41
阅读次数:
234