如何把Kafka消息时延秒降10倍背景国内某大型税务系统，业务应用分布式上云改造。业务难题如上图所示是模拟客户的业务网页构建的一个并发访问模型。用户在页面点击从而产生一个HTTP请求，这个请求发送到业务生产进程，就会启动一个投递线程（DeliverThread）调用Kafka的SDK接口，并发送3条消息到DMS（分布式消息服务），每条消息大小3k，需要等待3条消息都被处理完成后才会返回请求响应⑧。
分类：
其他好文 时间：
2020-12-15 11:39:09
阅读次数：
1
Flink 集群搭建(基于flink on YARN模式) Flink HA高可以集群搭建(生产环境Flink Cluster On YARN) ...
分类：
其他好文 时间：
2020-12-14 13:50:58
阅读次数：
7
前言Canal是阿里巴巴开源的数据库Binlog日志解析框架，主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。在之前我写的文章阿里开源MySQL中间件Canal快速入门中，我已经介绍了Canal的基本原理和基础使用。在部署到生产环境的过程中，自己作为一个菜鸟，又踩了一些坑，期间做了记录和总结，并再解决后分析了下原因，便有了此文。本文重点内容Canal常见的三大问题原因分析及解决
分类：
其他好文 时间：
2020-12-11 12:06:18
阅读次数：
3
一、Redis介绍 1、redis介绍 开源：早起版本2w3千行 基于键值对的存储系统：字典形式 多种数据结构：字符串，hash，列表，集合，有序集合 高性能，功能丰富 使用的公司有：github，twitter，stackoverflow，阿里，百度，微博，美团，搜狐 2、8个特性： （1）速度快 ...
分类：
其他好文 时间：
2020-12-11 11:54:57
阅读次数：
4
一、概述slf4j(全称是SimpleLogingFacadeForJava)是一个为Java程序提供日志输出的统一接口，并不是一个具体的日志实现方案，就好像我们经常使用的JDBC一样，只是一种规则而已。因此单独的slf4j是不能工作的，它必须搭配其他具体的日志实现方案，比如apache的org.apache.log4j.Logger，jdk自带的java.util.logging.Logger等
分类：
其他好文 时间：
2020-12-10 11:04:30
阅读次数：
2
以windows登录linux为例生产秘钥对切记，生产时不用输入密码，直接回车即可公钥放在linux服务器上目录为~/.ssh/catid_rsa.pub>>authorized_keys执行chmod755*登录验证sshusername@ip-pport-i~.ssh\dev_docker_id_rsa如果登录成功，就ok
分类：
系统相关 时间：
2020-12-09 12:00:15
阅读次数：
8
任务管理，项目管理和目标管理我是一个工具控，经常尝试各种生产力工具。我发现任务管理App汗牛充栋，项目管理工具乏善可陈，而目标管理App更是少得可怜。任务管理App任务管理App，包括常见的Things3，Todoist，Teambition，Trello。其中Things3和Todoist，本质上就像是一个增强版的提醒工具，你要做什么事情，填上去，设置好Deadline，事情做完了勾掉。如下图所
分类：
其他好文 时间：
2020-12-09 11:52:19
阅读次数：
5
消息丢失的场景如果KafkaProducer使用“发后即忘”的方式发送消息，即调用producer.send(msg)方法来发送消息，方法会立即返回，但此时并不能说明消息已经发送成功。消息发送方式详见初次邂逅Kafka生产者。如果在消息过程中发生了网络抖动，那么消息就会丢失；或发送的消息本身不符合要求，如大小超过Broker端的承受能力等（消息太大的情况在生产中实际遇到过，最后通过在发送前将消息分
分类：
其他好文 时间：
2020-12-08 12:53:00
阅读次数：
5
如果我们所在公司的业务量比较大，在生产环境经常会出现JVM内存溢出的现象，那我们该如何快速响应，快速定位，快速恢复问题呢？本文将通过一个线上环境JVM内存溢出的案例向大家介绍一下处理思路与分析方法。案例：架构组接到某项目组反馈，Zabbix监控上显示JMX不可用，请求协助处理。分析思路：JMX不可用，往往是由于垃圾回收时间停顿时间过长、内存溢出等问题引起的。线上故障分析的原则是首先要采取措施快速恢
分类：
其他好文 时间：
2020-12-08 12:46:27
阅读次数：
4
redis5.0安装部署参考一键安装脚本1.目前在生产环境已经有的集群环境为3个master、3个slave，现在添加2个节点，形成5个master和5个slave将安装好的新redis节点添加到集群，安装好的节点规划如下：172.16.153.32:7002和172.16.153.32:7003前面的是master后面的是slave172.16.153.33:7004和172.16.153.33
分类：
其他好文 时间：
2020-12-08 12:22:25
阅读次数：
4
