基础概念 Kafka最初是由Linkedin公司开发,是一个分布式、支持分区的、多副本的,基于zookeeper协调的分布式消息系统,可以实时的处理大量数据以满足各种需求场景:基于hadoop的批处理系统、低延迟的实时系统、storm/spark流式处理引擎、web/nginx日志、访问日志、消息服 ...
分类:
其他好文 时间:
2020-05-16 00:14:31
阅读次数:
73
1.什么是dubbo,zookeeper? dubbo是个阿里巴巴的旗下的高性能、轻量级的开源Java RPC框架ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务上面是官方说法,通俗点说 dubbo是个分布式框架,zookeeper是个注册中心 2.什么是分布式,为什么要搞分布式? ...
分类:
其他好文 时间:
2020-05-15 22:58:38
阅读次数:
106
**错误原因**:端口号被占用。
**解决方法**:关掉占用端口号的进程。步骤参考:https://jingyan.baidu.com/article/3aed632e24d3c5701180916d.html
**报错信息**:
Caused by: com.alibaba.dubbo.rpc.RpcException:...
分类:
其他好文 时间:
2020-05-14 11:00:08
阅读次数:
63
kafka有问题解决方式:1、把kafka进程杀掉2、进到zookeeper客户端bin/zkCli.sh3、查看节点Is/4、把除了zookeeper的节点其余全部删除rmr /节点5、删除kafka目 录下的logs以及kafka logs 目录中的所有内容6、重启kafka /opt/kafk ...
分类:
其他好文 时间:
2020-05-11 23:26:35
阅读次数:
53
连接kafka时,经常遇到配置kafka连接信息连接失败,程序后台一直打印连接失败信息,或者由于连接不上kafka程序启动直接失败情况,考虑一种方案如下: 从从zookeeper中读取kafka集群信息,如果kafka集群信息中有配置的kafka连接信息,则说明kafka正常启动,已注册到zooke ...
分类:
其他好文 时间:
2020-05-11 15:46:53
阅读次数:
49
一、写在前面 现在面试,一般都会聊聊分布式系统这块的东西。通常面试官都会从服务框架(Spring Cloud、Dubbo)聊起,一路聊到分布式事务、分布式锁、ZooKeeper等知识。 所以咱们这篇文章就来聊聊分布式锁这块知识,具体的来看看Redis分布式锁的实现原理。 说实话,如果在公司里落地生产 ...
分类:
其他好文 时间:
2020-05-10 21:32:07
阅读次数:
73
日常工作中很多场景下需要用到分布式锁,例如:任务运行(多个节点同一时刻同一个任务只能在一个节点上运行(分片任务除外)),交易请求接收(前端交易请求发送时,可能由于两次提交,后端需要识别出这是一个交易)等,怎么样实现一个分布式锁呢?一般有:zookeeper、redis、database等三种实现方式 ...
分类:
其他好文 时间:
2020-05-10 21:30:23
阅读次数:
67
Eureka和zookeeper都是微服务的注册中心 主管服务的注册和发现,两者区别就要说到一个东西 RDBMS和NOSQL(关系型数据库和非关系型数据库) RDBMS遵循的原则是:ACID原则(A:原子性。C:一致性。I:独立性。D:持久性) NoSql遵循的原则是:CAP原则(C:强一致性。A: ...
分类:
其他好文 时间:
2020-05-09 22:55:44
阅读次数:
76
Kafka 152.kafka 可以脱离 zookeeper 单独使用吗?为什么? kafka 不能脱离 zookeeper 单独使用,因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。 153.kafka 有几种数据保留的策略? kafka 有两种数据保存策略: 1 ...
分类:
编程语言 时间:
2020-05-08 20:07:20
阅读次数:
113
该压缩包内包含以下文件: 1.install_java.txt 配置java环境,logstash使用 2.es.txt 三节点的es集群 3.filebeat.txt 获取日志输出到kafka集群 4.install_zookeeper_cluster.txt zk集群 5.install_kaf ...
分类:
其他好文 时间:
2020-05-08 18:07:38
阅读次数:
99