Linux作为一个强大的操作系统，提供了一系列内核参数供我们进行调优。光TCP的调优参数就有50多个。在和线上问题斗智斗勇的过程中，笔者积累了一些在内网环境应该进行调优的参数。在此分享出来，希望对大家有所帮助。 调优清单 好了，在这里先列出调优清单。请记住，这里只是笔者在内网进行TCP内核参数调优的 ...
分类：
系统相关 时间：
2020-06-26 18:17:15
阅读次数：
107
##一、引入kafka pom三方配置 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.4.0</version> </dependency> ##二 ...
分类：
其他好文 时间：
2020-06-26 13:04:18
阅读次数：
54
特性如下： 可线性伸缩至超过数百个节点； 实现亚秒级延迟处理； 可与Spark批处理和交互式处理无缝集成； 提供简单的API实现复杂算法； 更多的流方式支持，包括Kafka、Flume、Kinesis、Twitter、ZeroMQ等。 原理 Spark在接收到实时输入数据流后，将数据划分成批次（di ...
分类：
Web程序 时间：
2020-06-26 01:31:54
阅读次数：
136
端到端一致性: exactly-once传输过程要保证exactly-once, 需要内部能够实现状态保存, 当下游保存失败时, 能够更加保存的历史状态再次提交数据.而下游接受数据, 需要具备去重能力. 去重有两种方式:幂等写入, 事务写入内部: 支持checkpoint或者状态保存下一级: 数据不... ...
分类：
其他好文 时间：
2020-06-25 19:15:36
阅读次数：
119
自定义分区器： import org.apache.kafka.clients.producer.Partitioner; import org.apache.kafka.common.Cluster; import org.apache.kafka.common.PartitionInfo; im ...
分类：
其他好文 时间：
2020-06-25 15:30:00
阅读次数：
55
kafka只接收bytes字节数组，所以自定义序列化器内部实现需按照bytes字节数组转换为标准。 重点：本例子只是提供参考怎样写自定义序列化器，因为关系到性能，一般默认使用StringSerializer即可，效率很高。 1) 自定义序列化类，转换成bytes字节数组： import cn.enj ...
分类：
其他好文 时间：
2020-06-25 13:42:15
阅读次数：
81
1）引入maven依赖 我这里使用的是springboot 2.1.3.RELEASE 版本： <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </depe ...
分类：
其他好文 时间：
2020-06-25 12:20:32
阅读次数：
155
springboot集成kafka是比较简单的是事情，但是kafka发送消息的失败回调在日常工作中，如果不容忍消息丢失的话，发送失败需要再次发送或者放到数据库中用任务重推。以下是演示用的发送类代码 @Slf4j @Component public class TestRunner implement ...
分类：
编程语言 时间：
2020-06-25 12:04:39
阅读次数：
143
kafka是什么Kafka最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的，发布/订阅模式的消息队列（Message Queue），Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。经过多年发展，Kafka已经由最初的日志 ...
分类：
其他好文 时间：
2020-06-25 10:16:04
阅读次数：
74
安装 pip3 install setuptools pip3 install pykafka pip3 install kafka-python 单台kafka import sys from kafka import KafkaConsumer from kafka.structs import ...
分类：
编程语言 时间：
2020-06-24 21:46:18
阅读次数：
80
