1.概述 最近有同学留言咨询，Flink消费Kafka的一些问题，今天笔者将用一个小案例来为大家介绍如何将Kafka中的数据，通过Flink任务来消费并存储到HDFS上。 2.内容 这里举个消费Kafka的数据的场景。比如，电商平台、游戏平台产生的用户数据，入库到Kafka中的Topic进行存储，然 ...
分类：
其他好文 时间：
2020-09-17 17:38:24
阅读次数：
37
文章来源：https://zhuanlan.zhihu.com/p/121597412 本文仅供学术交流，如有侵权，请留言联系小编进行删除。 1、 请说明什么是Apache Kafka？ Apache Kafka是由Apache开发的一种发布订阅消息系统，它是一个分布式的、分区的和重复的日志服务。 ...
分类：
其他好文 时间：
2020-09-17 17:15:09
阅读次数：
32
前言Log4j2是Log4j的进化版本，并提供了许多Logback可用的改进，同时解决了Logback体系结构中的一些固有问题。而且日志处理中我们会用到kafka作为日志管道。而kafka客户端依赖与Logback的兼容不是很完美，你可以选择排除依赖冲突或者使用Log4j2。排除Logback依赖SpringBoot2.x默认使用Logback日志框架，要使用Log4j2必须先排除Logback。
分类：
编程语言 时间：
2020-09-17 15:59:50
阅读次数：
29
什么是ELK？ 通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，ELK是elastic公司研发的一套完整的日志收集、分析和展示的企业级解决方案，在这三个软件当中，每个软件用于完成不同的功能，ELK 又称为ELK stack，官方域名为e ...
分类：
其他好文 时间：
2020-09-17 15:51:53
阅读次数：
26
1.kafka是一个分布式的消息队列，缓存系统，消息的发布和订阅系统。 2.始于Linkedin公司，开源于apache。 3.包含生产者，消费者，broker。 4.每秒支持百万消息处理。 5.支持多个生成者，多个消费者，多个broker 6.生成者产生数据，按topic分类数据，对数据进行分区， ...
分类：
其他好文 时间：
2020-09-17 13:42:05
阅读次数：
36
之前看 Flink Source 的 metrics 时候，看到 FlinkKafkaConsuemr 消费 Kafka 数据的代码，感觉比较有意思，就仔细看下了 大致流程如下： FlinkKafKaConsuemr 的启动流程就不细讲了，直接跳到 FlinkKafkaConsumerBase.ru ...
分类：
其他好文 时间：
2020-09-17 13:20:14
阅读次数：
29
kafka是很流行的一款消息队列和流处理组件，其生态非常丰富，今天只简单介绍一下它的安装。 一. Zookeeper安装 kafka高度依赖于Zookeeper做集群协调和分布式存储，当然kafka社区正在逐渐去掉对Zookeeper的依赖，不过至今你还是需要Zookeeper。 下载清华镜像：ht ...
用户行为日志分析是实时数据处理很常见的一个应用场景，比如常见的PV、UV统计。本文将基于Flink从0到1构建一个用户行为日志分析系统，包括架构设计与代码实现。本文分享将完整呈现日志分析系统的数据处理链路，通过本文，你可以了解到：基于discuz搭建一个论坛平台Flume日志收集系统使用方式Apache日志格式分析Flume与Kafka集成日志分析处理流程架构设计与完整的代码实现项目简介本文分享会
分类：
其他好文 时间：
2020-09-11 16:03:01
阅读次数：
41
搭建ELK Elasticsearch搭建 由于Elasticsearch要求不能使用超级用户root运行，所以下载、解压、启动，以及data和logs目录的建立，都使用普通账号即可 环境准备 需要java环境，也就是需要安装jdk，参考链接：https://www.jianshu.com/p/10 ...
分类：
其他好文 时间：
2020-09-07 19:04:27
阅读次数：
40
图灵学院 java架构师学习路线 1、首先我们需要在官网上下载好我们需要的kafka，zookeeper版本的安装包。如图，百度搜索zookeeper，点击红圈所示链接进入官网，按照下图步骤点击相应红圈处，到http链接下载随意点击一个下载链接即可，本人是点击最上面的推荐链接，然后进入下载链接后选择 ...
分类：
编程语言 时间：
2020-09-04 17:08:39
阅读次数：
42
