kafka运行一段时间挂掉 查看日志： 修改./kafka/config/server.properties (修改日志存放位置) log.dirs=/tmp/kafka-logs ...
分类：
其他好文 时间：
2020-09-24 21:01:24
阅读次数：
54
通过简单的python脚本，获取指定group的队列长度
分类：
其他好文 时间：
2020-09-23 23:30:54
阅读次数：
69
Kafka是Apache下的一个子项目，是一个高性能跨语言分布式发布/订阅消息队列系统，吞吐速率非常快，可以作为Hadoop的日志收集。Kafka是一个完全的分布式系统，这一点依赖于Zookeeper的分布式实现。 本文为新手准备，从Kafka的一些术语概念方面去认识Kafka。 Broker Ka ...
分类：
其他好文 时间：
2020-09-18 17:19:41
阅读次数：
37
现如今，Kafka已不再是一个单纯的消息队列系统。Kafka是一个分布式的流处理平台，被越来越多的公司使用，Kafka可以被用于高性能的数据管道，流处理分析，数据集成等场景。本文分享总结了几个Kafka常见的面试问题，希望对你有所帮助。主要包括以下内容：Kafka是如何保障数据不丢失的？如何解决Kafka数据丢失问题？Kafka可以保障永久不丢失数据吗？如何保障Kafka中的消息是有序的？如何确定
分类：
其他好文 时间：
2020-09-17 23:41:36
阅读次数：
33
CSDN：程序员小羊 微信公众号：程序员小羊 1、Kafka 是什么 Kafka 是一种高吞吐量、分布式、基于发布/订阅的消息系统，最初由 LinkedIn 公司开发，使用Scala 语言编写，目前是 Apache 的开源项目。 broker： Kafka 服务器，负责消息存储和转发 topic：消 ...
分类：
其他好文 时间：
2020-09-17 21:42:29
阅读次数：
32
最近工作中呢，频频用到消息中心，包括异步转同步的功能，分布式收集日志信息等功能，在面试中也常会问到候选人关于消息中心的知识点，但大多数程序员，尤其是工作两三年的，虽然平时工作中都有用到消息中心，但都总是不能够说明白其中的原理，于是觉得有必要把消息中心作为一个篇章，专门进行总结梳理一番~看的时候，建议大家不妨先看看问题，自己先尝试回答一下，再看答案。看看自己掌握得如何了那准备好了的话，我们就要开始啦啊~
分类：
其他好文 时间：
2020-09-17 20:18:18
阅读次数：
21
今天介绍用 Flink 读取Kafka生成的数据，并进行汇总的案例 第一步：环境准备，kafka，flink，zookeeper。我这边是用的CDH环境，kafka跟zookeeper 都安装完毕，并测试可以正常使用 第二步：用kafka创建一个生产者进行消息生产 ./kafka-console-p ...
分类：
其他好文 时间：
2020-09-17 18:33:12
阅读次数：
26
1.概述 最近有同学留言咨询，Flink消费Kafka的一些问题，今天笔者将用一个小案例来为大家介绍如何将Kafka中的数据，通过Flink任务来消费并存储到HDFS上。 2.内容 这里举个消费Kafka的数据的场景。比如，电商平台、游戏平台产生的用户数据，入库到Kafka中的Topic进行存储，然 ...
分类：
其他好文 时间：
2020-09-17 17:38:24
阅读次数：
37
文章来源：https://zhuanlan.zhihu.com/p/121597412 本文仅供学术交流，如有侵权，请留言联系小编进行删除。 1、 请说明什么是Apache Kafka？ Apache Kafka是由Apache开发的一种发布订阅消息系统，它是一个分布式的、分区的和重复的日志服务。 ...
分类：
其他好文 时间：
2020-09-17 17:15:09
阅读次数：
32
前言Log4j2是Log4j的进化版本，并提供了许多Logback可用的改进，同时解决了Logback体系结构中的一些固有问题。而且日志处理中我们会用到kafka作为日志管道。而kafka客户端依赖与Logback的兼容不是很完美，你可以选择排除依赖冲突或者使用Log4j2。排除Logback依赖SpringBoot2.x默认使用Logback日志框架，要使用Log4j2必须先排除Logback。
分类：
编程语言 时间：
2020-09-17 15:59:50
阅读次数：
29
