什么是分区再分配: 如果该topic的分区大于1,那么生产者生产的数据存放到哪个分区,完全取决于key值,比如key=A,那么存到分区0,key=B,那么存到分区1,如果key为null,那么负载均衡存储到每个分区! 分区再分配监听器代码: end. ...
分类:
编程语言 时间:
2020-06-25 21:15:18
阅读次数:
65
一、计算器的计算思路分析 我们以计算3+8*2-6这个算式为例: 将算式解析为数字和符号:3,+,8,*,2,-,6 准备一个用于存放数字的数字栈numStack,还有一个存放运算符号的符号栈symbolStack,下面分别简称栈n和栈s 按顺序扫描解析后的数字和符号, 如果是数字,就直接入数栈n, ...
分类:
其他好文 时间:
2020-06-25 21:07:46
阅读次数:
46
端到端一致性: exactly-once传输过程要保证exactly-once, 需要内部能够实现状态保存, 当下游保存失败时, 能够更加保存的历史状态再次提交数据.而下游接受数据, 需要具备去重能力. 去重有两种方式:幂等写入, 事务写入内部: 支持checkpoint或者状态保存下一级: 数据不... ...
分类:
其他好文 时间:
2020-06-25 19:15:36
阅读次数:
119
自定义分区器: import org.apache.kafka.clients.producer.Partitioner; import org.apache.kafka.common.Cluster; import org.apache.kafka.common.PartitionInfo; im ...
分类:
其他好文 时间:
2020-06-25 15:30:00
阅读次数:
55
由于目前的服务器系统会带python2.7 和python3.*两个版本,但是默认python2.7,如果想改变下默认,下面为你提供下更换默认版本的思路方法 Ubuntu 将Python从默认的2.7升级到3.* 版本(建议使用原系统Python版本进行Python开发) 因为Ubuntu很多底层采 ...
分类:
编程语言 时间:
2020-06-25 13:52:05
阅读次数:
58
kafka只接收bytes字节数组,所以自定义序列化器内部实现需按照bytes字节数组转换为标准。 重点:本例子只是提供参考怎样写自定义序列化器,因为关系到性能,一般默认使用StringSerializer即可,效率很高。 1) 自定义序列化类,转换成bytes字节数组: import cn.enj ...
分类:
其他好文 时间:
2020-06-25 13:42:15
阅读次数:
81
1)引入maven依赖 我这里使用的是springboot 2.1.3.RELEASE 版本: <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </depe ...
分类:
其他好文 时间:
2020-06-25 12:20:32
阅读次数:
155
springboot集成kafka是比较简单的是事情,但是kafka发送消息的失败回调在日常工作中,如果不容忍消息丢失的话,发送失败需要再次发送或者放到数据库中用任务重推。以下是演示用的发送类代码 @Slf4j @Component public class TestRunner implement ...
分类:
编程语言 时间:
2020-06-25 12:04:39
阅读次数:
143
kafka是什么Kafka最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的,发布/订阅模式的消息队列(Message Queue),Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。经过多年发展,Kafka已经由最初的日志 ...
分类:
其他好文 时间:
2020-06-25 10:16:04
阅读次数:
74
数据库、缓存、依赖的第三方、负载均衡、交换机带宽等等都是系统扩展时需要考虑的因素。我们要知道系统并发到了某一个量级之后,哪一个因素会成为我们的瓶颈点,从而针对性地进行扩展。 比方说,你系统的流量是每秒1000次请求,对数据库的请求量也是每秒1000次。如果流量增加10倍,虽然系统可以通过扩容正常服务 ...
分类:
其他好文 时间:
2020-06-25 09:36:09
阅读次数:
67