kafka它们属于消息队列；celery它们属于任务队列。 消息队列和任务队列，最大的不同之处就在于理念的不同 -- 消息队列传递的是“消息”，任务队列传递的是“任务”。 我们可以放到具体的应用场景上: 消息队列用来快速消费队列中的消息。比如日志处理场景，我们需要把不同服务器上的日志合并到一起，这时 ...
分类：
其他好文 时间：
2021-06-30 18:33:26
阅读次数：
0
kafka 应用数据读取理论生产者和消费者 生产者：生产数据 消费者：消费生产者产生的数据 对应关系：一个任务可以有多个分组，可以对应多个消费者，但消费者数量不能大于生产者分组数量，多余的也是无用的。（多对多的中的一对一关系） 特性：kafka只需写入一次，可以支持任意多的应用读取全部数据，如果应用 ...
分类：
编程语言 时间：
2021-06-30 17:51:24
阅读次数：
0
文章目录一、kafka是什么？二、使用步骤1. 安装1.引入库2.消费端：读取数据3.发送端：发送数据总结一、kafka是什么？kafka 是一个分布式流式计算平台。而在大部分企业开发人员中，都是把 kafka 当成消息系统使用，即它是一个分布式消息队列，很少会使用 kafka 的流式计算。它有四个 ...
分类：
编程语言 时间：
2021-06-30 17:50:03
阅读次数：
0
#1、安装ElasticSearch ###拉取镜像 docker pull docker.elastic.co/elasticsearch/elasticsearch:7.1.1 ###创建资料卷 docker volume create es-data docker volume create ...
分类：
其他好文 时间：
2021-06-28 21:17:34
阅读次数：
0
全文目录 什么是微服务？ 微服务之间如何独立通讯的? SpringCloud 和 Dubbo 有哪些区别? SpringBoot 和 SpringCloud 之间关系？ 什么是熔断？什么是服务降级？ 微服务的优缺点是什么？说下你在项目中碰到的坑。 eureka和zookeeper都可以提供服务注册与 ...
分类：
编程语言 时间：
2021-06-28 21:11:15
阅读次数：
0
1.elasticsearch7.+需要jdk11 / elasticsearch6.+需要jdk8 , 如果是Java开发的同学本地开发使用jdk8 , 可以下载一个解压版的jdk11 , 然后修改elasticsearch的配置文件 , env文件中修改 JAVA_HOME使用的路径即可 , 这 ...
分类：
其他好文 时间：
2021-06-28 21:00:59
阅读次数：
0
关键点 概念的解析 kafka的架构图 架构深入 kafka的工作流程及文件存储机制 kafka的生产者：a.分区策略 b.数据可靠性保证 c.数据一致性保证 kafka的消费者：a.消费方式 b.分区分配策略 c.offset的维护 zookeeper的作用 Kafka常见面试题：根据问题去了解大 ...
分类：
其他好文 时间：
2021-06-28 18:56:22
阅读次数：
0
zkClient操作 基本增删改查代码如下 public class createSession { public static void main(String[] args) { ZkClient zkClient = new ZkClient("119.45.52.68:2181"); Sys ...
分类：
其他好文 时间：
2021-06-28 18:01:05
阅读次数：
0
方案说明 canal是阿里云开源的解析binlog组件，同步到ES需要deployer和adapter两部分： deployer解析MySQL binlog，adapter将数据写入到ES 优点 开源成熟稳定 简单易用 缺点 不支持全量数据初始化 部署 logstash进行全量 /etc/hosts ...
分类：
数据库 时间：
2021-06-28 17:36:08
阅读次数：
0
dremio 多集群共享zk 配置有些问题，官方说明不是很明确，而且从运行测试会有一些问题，以下是一个整理 配置 配置 zookeeper: "<host1>:2181,<host2>:2181,<host3>:2181/path/to/dremio" 说明 注意zk root 需要写在后边，而且需 ...
分类：
其他好文 时间：
2021-06-24 17:56:09
阅读次数：
0
