kafka核心概念与应用场景解析 Kafka的主要特点 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务,它主要用于处理活跃的流式数据。 kafka的主要特点: 同时为发布和订阅提 ...
分类:
其他好文 时间:
2020-04-06 17:42:09
阅读次数:
99
前言背景 消息系统经过多年使用和运维管理平台开发迭代,能较好支持支撑业务发展,公司主流语言为java,但缺乏一个基于Kafka二次封装简单好用的java客户端。遇到问题如下所示: 使用好kafka客户端对业务要求高,非专业技术方向很难有精力全面掌握 异常情况会catch不全 客户端生产消息及双活机房 ...
分类:
其他好文 时间:
2020-04-06 15:21:49
阅读次数:
81
介绍 RabbitMQ是一个在AMQP基础上完整的,可复用的企业消息系统。他遵循Mozilla Public License开源协议。MQ全称为Message Queue, 消息队列(MQ)是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无需专用连接 ...
分类:
编程语言 时间:
2020-03-24 17:17:32
阅读次数:
72
微服务架构介绍 https://www.cnblogs.com/mrhelloworld/p/12388859.html 技术架构演变 随着互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,亟需一个治理系统确保架构有条不紊的演进。 单一应用架 ...
分类:
其他好文 时间:
2020-03-24 11:07:06
阅读次数:
70
kafka的基本概念 kafka是什么 ? ? kafka是一个多分区、多副本且基于zookeeper协调的分布式消息系统。也是一个分布式流式处理平台,它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。 kafka扮演的三大角色 消息系统 :kafka具备系统解耦、冗余存储、流 ...
分类:
其他好文 时间:
2020-03-20 10:47:33
阅读次数:
76
[toc] RocketMQ 架构 架构图 概述 是一个分布式的 ,`高性能 可靠性高`的消息系统, 组成 NameServer 提供轻量的服务发现和路由的功能。每个NameServer记录了所有的路由信息,提供相应的读写服务和快速扩展的功能。 NameServer 遵循的是 。也就是说NameSe ...
分类:
其他好文 时间:
2020-03-14 18:23:31
阅读次数:
50
RabbitMQ是一个在AMQP基础上完整的,可复用的企业消息系统。他遵循Mozilla Public License开源协议。 MQ全称为Message Queue, 消息队列(MQ)是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无需专用连接来链 ...
分类:
其他好文 时间:
2020-03-13 20:36:08
阅读次数:
61
1.kafka概述##1.1kafka简介ApacheKafka是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统,使用Scala与Java语言编写,能够将消息从一个端点传递到另一个端点,较之传统的消息中间件(例如ActiveMQ、RabbitMQ),Kafka具有高吞吐量、内置分区、支持消息副本和高容错的特性,非常适合大规模消息处理应用程序。Kafka官网:http://kaf
分类:
其他好文 时间:
2020-03-09 13:12:17
阅读次数:
58
1. 概述 Apache Kafka 是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统。其具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 笔者之前在物联网公司工作,其中 Kafka 作为物联网 MQ 选型的事实标准,这里优先给大家搭建 Kafka 集群 ...
分类:
其他好文 时间:
2020-03-04 21:21:23
阅读次数:
69
[TOC] 介绍 Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。 Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 安装 集群,需要把集群状态保存在 上,所以需要先安装 。 环境准备 主机名 | 系统 | I ...
分类:
其他好文 时间:
2020-03-03 20:52:02
阅读次数:
83