今天介绍用 Flink 读取Kafka生成的数据，并进行汇总的案例 第一步：环境准备，kafka，flink，zookeeper。我这边是用的CDH环境，kafka跟zookeeper 都安装完毕，并测试可以正常使用 第二步：用kafka创建一个生产者进行消息生产 ./kafka-console-p ...
分类：
其他好文 时间：
2020-09-17 18:33:12
阅读次数：
26
总述 稳定性问题分为逻辑问题和架构问题。 逻辑问题三板斧：理念正确、流程规范、刨根问底。 逻辑问题 理念正确 曹操煮酒论英雄，对刘备发表了自己对英雄的看法： 胸怀大志，腹有良策，包藏宇宙之机，吞吐天地之气。 意思是说所谓英雄，要志气远大，计谋精良。胸怀能包含宇宙，志气能吞吐天地。对稳定性建设来说就是 ...
分类：
其他好文 时间：
2020-09-17 18:05:16
阅读次数：
16
1.概述 最近有同学留言咨询，Flink消费Kafka的一些问题，今天笔者将用一个小案例来为大家介绍如何将Kafka中的数据，通过Flink任务来消费并存储到HDFS上。 2.内容 这里举个消费Kafka的数据的场景。比如，电商平台、游戏平台产生的用户数据，入库到Kafka中的Topic进行存储，然 ...
分类：
其他好文 时间：
2020-09-17 17:38:24
阅读次数：
37
文章来源：https://zhuanlan.zhihu.com/p/121597412 本文仅供学术交流，如有侵权，请留言联系小编进行删除。 1、 请说明什么是Apache Kafka？ Apache Kafka是由Apache开发的一种发布订阅消息系统，它是一个分布式的、分区的和重复的日志服务。 ...
分类：
其他好文 时间：
2020-09-17 17:15:09
阅读次数：
32
c++11提供了关键字noexcept，用来指明某个函数无法——或不打算——抛出异常： void foo() noexcept; // a function specified as will never throw void foo2() noexcept(true); // same as fo ...
分类：
编程语言 时间：
2020-09-17 17:07:05
阅读次数：
27
前言Log4j2是Log4j的进化版本，并提供了许多Logback可用的改进，同时解决了Logback体系结构中的一些固有问题。而且日志处理中我们会用到kafka作为日志管道。而kafka客户端依赖与Logback的兼容不是很完美，你可以选择排除依赖冲突或者使用Log4j2。排除Logback依赖SpringBoot2.x默认使用Logback日志框架，要使用Log4j2必须先排除Logback。
分类：
编程语言 时间：
2020-09-17 15:59:50
阅读次数：
29
过回来，我还蛮开心的那!没想到你这么关心我。”“我哪有啊。”小瑜羞涩地笑着。“我现在要出院回家了。医生说我一定要等到放屁了才能回家，害我不知道费了多大的力气呢，受不了。”“啊?”小瑜和东州同时呵呵呵地笑个不停。https://www.douban.com/group/topic/192511660/ ...
分类：
编程语言 时间：
2020-09-17 15:35:25
阅读次数：
22
1、实现效果 QString a = "1,2,3,4,5"; 得到 QStringList b = {"1","2","3","4","5"} 2、实现 QString str = "a,,b,c"; QStringList list1 = str.split(','); // list1: [ ...
分类：
其他好文 时间：
2020-09-17 13:42:34
阅读次数：
27
1.kafka是一个分布式的消息队列，缓存系统，消息的发布和订阅系统。 2.始于Linkedin公司，开源于apache。 3.包含生产者，消费者，broker。 4.每秒支持百万消息处理。 5.支持多个生成者，多个消费者，多个broker 6.生成者产生数据，按topic分类数据，对数据进行分区， ...
分类：
其他好文 时间：
2020-09-17 13:42:05
阅读次数：
36
之前看 Flink Source 的 metrics 时候，看到 FlinkKafkaConsuemr 消费 Kafka 数据的代码，感觉比较有意思，就仔细看下了 大致流程如下： FlinkKafKaConsuemr 的启动流程就不细讲了，直接跳到 FlinkKafkaConsumerBase.ru ...
分类：
其他好文 时间：
2020-09-17 13:20:14
阅读次数：
29
