简介： 快手基于 Flink 的持续优化与实践的介绍。 一、Flink 稳定性持续优化 第一部分是 Flink 稳定性的持续优化。该部分包括两个方面，第一个方面，主要介绍快手在 Flink Kafka Connector 方面做的一些高可用，是基于内部的双机房读或双机房写和一些容错的策略。第二部分关 ...
分类：
其他好文 时间：
2021-03-05 12:54:40
阅读次数：
0
近日，Hudi社区合并了 Flink 引擎的基础实现（HUDI-1327），这意味着 Hudi 开始支持 Flink 引擎。 当前 Flink 版本的 Hudi 只支持读取 Kafka 数据，sink到 COW 类型的 Hudi 表中，其他功能还在完善。 这里我们简要介绍下如何从 Kafka 读取数 ...
分类：
其他好文 时间：
2021-03-04 13:29:01
阅读次数：
0
目录 一、Kafka监控的几个指标 二、查看zookeeper配置 三、查看kafka配置 四、查看kafka的group name 五、查看kafka的topic_name 六、修改zabbix配置文件 七、创建监控脚本 八、给脚本和对应文件权限 九、重启zabbix 十、监控上增加3个键值 正文 ...
分类：
其他好文 时间：
2021-03-03 12:11:41
阅读次数：
0
1.概述 在大数据的浪潮下，时时刻刻都会产生大量的数据。比如社交媒体、博客、电子商务等等，这些数据会以不同的类型存储在不同的平台里面。为了执行ETL（提取、转换、加载）操作，需要一个消息中间件系统，该系统应该是异步和低耦合的，即来自各种存储系统（如HDFS、Cassandra、RDBMS等）的数据可 ...
分类：
其他好文 时间：
2021-03-01 13:50:00
阅读次数：
0
现在的mq产品主流有4中：rabbitmq，rocketmq，activemq，kafka；有时候很意外的是：学的其中一个，公司用的又是另外一个，导致学习成本提高。有或者是 业务服务使用rabbitmq，而数据库后台使用kafka，整个项目使用了2种mq，可能会导致切换困难，维护成本高等因素。 我们 ...
分类：
编程语言 时间：
2021-02-27 12:58:02
阅读次数：
0
?曾经在你的应用程序中使用过异步处理吗?在处理不需要立即执行的任务时，异步代码似乎是不可避免的。Apache Kafka是最常用和最健壮的开源事件流平台之一。许多公司和开发者利用它的强大功能来创建高性能的异步操作，用于微服务的数据集成，以及用于应用程序健康指标的监控工具。这篇文章解释了在.NET应用 ...
分类：
Web程序 时间：
2021-02-23 14:04:35
阅读次数：
0
安装部署 先下载zookeeper、kafka zookeeper下载地址：Download kafka下载地址：Download 集群规划 hadoop001 hadoop002 zk zk kafka kafka 集群部署 1) 解压安装包 [root@hadoop001 software]# ...
分类：
其他好文 时间：
2021-02-22 12:46:23
阅读次数：
0
test.kafka.eagle.sasl.enable=true test.kafka.eagle.sasl.protocol=SASL_PLAINTEXT test.kafka.eagle.sasl.mechanism=PLAIN test.kafka.eagle.sasl.jaas.confi ...
分类：
其他好文 时间：
2021-02-22 12:41:44
阅读次数：
0
tomcat 启动tomcat cd /usr/tomcat/apache-tomcat-7.0.57/bin/ ./startup.sh 停止tomcat ./shutdown.sh 查看tomcat日志信息 tail -200f /usr/tomcat/apache-tomcat-7.0.57/ ...
分类：
其他好文 时间：
2021-02-20 11:58:57
阅读次数：
0
线上有一个消息消费服务，主线程批量从kafka拉取消息，然后提交到子线程池中挨个消费。分布式追踪用到的kafka插件会使子线程创建的ThreadLocalScope被循环引用，从而造成内存泄漏。 ...
分类：
其他好文 时间：
2021-02-20 11:53:15
阅读次数：
0
