消息队列1、为什么使用消息队列?消息队列有什么优点和缺点?Kafka、ActiveMQ、RabbitMQ、RocketMQ都有什么优点和缺点?2、如何保证消息队列的高可用?3、如何保证消息不被重复消费?或者说,如何保证消息消费的幂等性?4、如何保证消息的可靠性传输?或者说,如何处理消息丢失的问题?5、如何保证消息的顺序性?6、如何解决消息队列的延时以及过期失效问题?消息队列满了以后该怎么处理?有几
分类:
其他好文 时间:
2020-04-21 18:45:19
阅读次数:
60
作者:万能付博 链接:Docker安装部署ELK教程 (Elasticsearch+Kibana+Logstash+Filebeat) Docker安装部署ELK教程 (Elasticsearch+Kibana+Logstash+Filebeat) ELK是由 Elasticsearch、Logst ...
分类:
其他好文 时间:
2020-04-20 21:40:54
阅读次数:
110
In a previous blog post, we introduced exactly once semantics for Apache Kafka®. That post covered the various message delivery semantics, introduced ...
分类:
Web程序 时间:
2020-04-20 18:53:11
阅读次数:
71
1. ranger-hdfs plugin安装 1.1 安装ranger hdfs plugin软件包 # pwd /opt/app/ranger-release-ranger-1.2.0/target # tar -zxvf ranger-1.2.0-hdfs-plugin.tar.gz 1.2 ...
分类:
其他好文 时间:
2020-04-20 16:24:01
阅读次数:
169
1】Receiver是使用高层次的consumer Api来实现的。 receiver 接收的消息都是存储在spark Executor中的,然后spark启动jobq去处理那些消息 然而,默认情况下,这种方式会因为底层的失败丢失数据。 如果要启用高可靠机制,让数据零丢失,就必须启用spark st ...
分类:
其他好文 时间:
2020-04-20 11:59:44
阅读次数:
64
Filebeat介绍 Filebeat是本地文件的日志数据采集器,可监控日志目录或特定日志文件(tail file),并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。带有内部模块(auditd,Apache,Nginx,System和MySQL),可通过一个指定命 ...
分类:
其他好文 时间:
2020-04-20 01:30:15
阅读次数:
103
前言 "上一章" 介绍了Kafka是什么,这章就讲讲怎么搭建以及如何使用。 快速开始 "Step 1:Download the code" "Download" the 2.4.1 release and un tar it. "Step 2: Start the server" Kafka使用Zo ...
分类:
其他好文 时间:
2020-04-20 01:12:40
阅读次数:
81
将kafka和zookeeper安装包上传至/usr/local/目录下,解压,重命名 zookeeper安装 解压 tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz 重命名 mv apache-zookeeper-3.5.7-bin zookeeper 进入配 ...
分类:
其他好文 时间:
2020-04-20 01:01:59
阅读次数:
74
部署zk docker pull zookeeper docker run -d -v /data/zookeeper/zookeeperDataDir:/data -v /data/zookeeper/zookeeperDataLogDir:/datalog --name zookeeper01 ...
分类:
其他好文 时间:
2020-04-18 13:32:22
阅读次数:
57
持续更新内容涵盖 :Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、Spring Boot、Spring Cloud、RabbitMQ、Kafka、 Linux 等技术栈(滴滴滴.会持续更新哦,记得点赞、 ...
分类:
编程语言 时间:
2020-04-18 12:08:10
阅读次数:
69