感谢参考原文-http://bjbsair.com/2020-04-01/tech-info/18512.html目标：使用Kafka和使用Redis的服务层编写数据管道。先决条件请根据您的操作系统安装以下组件：·Kafka·Zookeeper·Redis·Java目标观众本文针对的是正在构建第一个数据管道的工程师。但是，已建立数据管道的工程师可以快速浏览它。期待什么关于如何建立数据管道的概念证明
分类：
其他好文 时间：
2020-04-02 17:53:02
阅读次数：
59
mac python3.7消费kafka数据时报错如下： kafka.errors.UnsupportedCodecError: UnsupportedCodecError: Libraries for snappy compression codec not found 解决方案： 1. brew ...
分类：
移动开发 时间：
2020-04-02 14:25:37
阅读次数：
246
通过命令行工具(kafka-console-producer.sh和kafka-console-consumer.sh)是能够相互通信的，producer发布的信息consumer能够接收到。 但是java通过kafka-client的API写的代码始终不能跟kafka通信：java produce ...
分类：
编程语言 时间：
2020-04-02 10:24:08
阅读次数：
530
两种方法配置Spring项目输出JSON到LogStash或者使用FileBeat收集上传到ELK
分类：
编程语言 时间：
2020-04-02 01:20:53
阅读次数：
79
1、 kafka的介绍 kafka是linkedin公司开源捐献给apache的一个消息队列的框架，底层语言用的是scala kafka是一个分布式的消息队列，提供了类似于JMS的特性，不是标准的JMS的实现，也有生产者，消费者，topic等组件 2、 消息队列的作用 解耦，异步，并行 3、 kak ...
分类：
其他好文 时间：
2020-04-01 20:59:46
阅读次数：
93
复制-Kafka的核心复制功能是Kafka架构的核心。在Kafka的文档里,Kafka把自己描述成“一个分布式的、可分区的、可复制的提交日志服务”。复制之所以这么关键,是因为它可以在个别节点失效时仍能保证Kafka的可用性和持久性。Kafka使用主题来组织数据,每个主题被分为若干个分区,每个分区有多 ...
分类：
其他好文 时间：
2020-04-01 16:20:42
阅读次数：
64
一、访问流追踪 log-trace： 减少代码级别插入日志 详细调用访问链路 唯一请求id,方便搜索 二、日志实时展示 1. 日志收集 使用队列，采用发布订阅模式 Kafka/RabbitMq: 使用logback 配置appender AMQP 消费端直接读取 支持ELK Mqtt: IBM协议， ...
分类：
其他好文 时间：
2020-04-01 14:55:28
阅读次数：
65
一、说说前因后果elasticsearch,kafka,zookeeper,kibana,elasticsearch-head,logstash，logstash是需要经常重启的，你上了点过滤规则或者修改点啥的，每次都尼玛杀进程，再nohup，还看不到日志，这太不符合人性了，人性的优点之一就是懒惰。打开web界面，点一下鼠标解决问题岂不是棒棒哒，还能通过web界面看看后台日志，故而用supervi
分类：
其他好文 时间：
2020-04-01 11:08:17
阅读次数：
74
作为一个有丰富经验的微服务系统架构师，经常有人问我，“应该选择RabbitMQ还是Kafka？”。 基于某些原因， 许多开发者会把这两种技术当做等价的来看待。的确，在一些案例场景下选择RabbitMQ还是Kafka没什么差别，但是这两种技术在底层实现方面是有许多差异的。 不同的场景需要不同的解决方案 ...
分类：
其他好文 时间：
2020-04-01 11:00:57
阅读次数：
60
1.三个节点 2.安装包 3.安装JDK-12版本 在/etc/profile添加环境变量 [root@node3 ~]# source /etc/profile cat >>/etc/profile <EOF export JAVA_HOME=/usr/java/jdk-12.0.1export ...
分类：
其他好文 时间：
2020-04-01 10:41:45
阅读次数：
54
