1、幂等操作 幂等(idempotent、idempotence)是一个数学与计算机学概念,常见于抽象代数中。 在编程中.一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。幂等函数,或幂等方法,是指可以使用相同参数重复执行,并能获得相同结果的函数。这些函数不会影响系统状态,也不用 ...
分类:
其他好文 时间:
2021-07-28 21:38:00
阅读次数:
0
Kafka最早是由LinkedIn公司开发的,作为其自身业务消息处理的基础,后LinkedIn公司将Kafka捐赠给Apache,现在已经成为Apache的一个顶级项目了,Kafka作为一个高吞吐的分布式的消息系统,目前已经被很多公司应用在实际的业务中了,并且与许多数据处理框架相结合,比如Hadoo ...
分类:
其他好文 时间:
2021-07-26 16:51:13
阅读次数:
0
ES官网:www.elastic.co ES可视化工具:ElasticHD 快速学习文档:https://learnku.com/docs/elasticsearch73 概念扫盲:https://juejin.cn/post/6844904051994263559;https://juejin.c ...
分类:
其他好文 时间:
2021-07-26 16:48:46
阅读次数:
0
基于elasticSearch实现自动补全 为什么要用es来实现? 因为能共用一个搜索服务,并且稳定,能利用已有的分词器。 有多少种实现方法?本文用的是哪一种? https://www.elastic.co/guide/en/elasticsearch/reference/current/searc ...
分类:
其他好文 时间:
2021-07-19 16:56:46
阅读次数:
0
kafka reassign过程详见:reassign过程 最近kafka集群发生reassign过程卡住的情况,问题发生过程如下 问题日志 2021-07-16 10:35:41,193 INFO kafka.controller.KafkaController: [Controller id=3 ...
分类:
其他好文 时间:
2021-07-19 16:41:55
阅读次数:
0
数据积压指的是消费者因为一些外部的IO、一些比较耗时的操作(full GC--stop the world),就会造成消息在partition中一直存在得不到消费,就会产生数据积压。 所以需要监控系统(kafka的监控系统Eagle),如果出现这种情况,需要尽快处理,虽然后续的spark strea ...
分类:
其他好文 时间:
2021-07-13 17:40:18
阅读次数:
0
首先: ELK 是 Elasticsearch、Logstash、Kibana开源软件的集合,对外是作为一个日志管理系统的开源方案,它可以从任何来源、任何格式进行日志搜索、分析与可视化展示。 Logstash:日志收集工具,可以从本地磁盘,网络服务(自己监听端口,接受用户日志),消息队列中收集各种各 ...
分类:
编程语言 时间:
2021-07-12 18:25:34
阅读次数:
0
1.首先安装JAVA环境 2.下载链接 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.deb wget https://artifacts.elastic.co/downloads/elas ...
分类:
系统相关 时间:
2021-07-05 17:46:31
阅读次数:
0
https://www.cnblogs.com/tibos/p/14958948.html ...
分类:
Web程序 时间:
2021-07-02 16:15:29
阅读次数:
0
?简介: 我们在几年前决定引入 MQ 时,市场上已经有不少成熟的解决方案,比如 RabbitMQ , ActiveMQ,NSQ,Kafka 等。考虑到稳定性、维护成本、公司技术栈等因素,我们选择了 RocketMQ。 ? 背景介绍 ? 为何选择 RocketMQ ? 我们在几年前决定引入 MQ 时, ...
分类:
其他好文 时间:
2021-07-02 16:09:00
阅读次数:
0