Kafka Exactly Once语义 精准一次: 将服务器的ACK级别设置为-1,可以保证Producer到Server之间不会丢失数据,即At Least Once语义。相对的,将服务器ACK级别设置为0,可以保证生产者每条消息只会被发送一次,即At Most Once语义。 At Least ...
分类:
其他好文 时间:
2021-06-02 12:21:04
阅读次数:
0
面试题: 1)Kafka中的ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)代表什么? 2)Kafka中的HW、LEO等分别代表什么? 3)Kafka中是怎么体现消息顺序性的? 4)Kafka中的分区器、序列化器、拦截器是否了解?它们之间的处理顺序是什么 ...
分类:
其他好文 时间:
2021-06-02 12:19:54
阅读次数:
0
目标 安全 稳定 廉价 快速 容灾 扩展 服务器 基础数据 腾讯云 2核 8GB 5Mbps 安全组配置 开放80、443,允许全部ip访问 开放22、6443,开放当前ip访问 环境 # 卸载firewalld,由安全组统一管理端口 sudo dnf remove firewalld # 关闭交换 ...
分类:
其他好文 时间:
2021-06-02 12:19:37
阅读次数:
0
Kafka概述 Kafka是一个基于发布、订阅的分布式消息队列,用于大数据实时处理。 为什么要用kafka? 注册信息的过程,先在网站上填写注册信息,后台会调用其他服务的接口,反馈给网页注册成功信息,最后再显示给用户,并且将短信发送给用户,该过程为同步通信过程,需要同步等待,由于同步通信的过程比较慢 ...
分类:
其他好文 时间:
2021-06-02 12:12:15
阅读次数:
0
特此记录下之前的问题,客户要给门户加集群!节点加上后 1 有点击页面返回登陆页问题: 原因应该是登陆是a节点,再点击下跳到了b节点 所以添加了 改为通过cookie获取token 有的系统也叫sessionid hash $cookie_token。 下面这些好像是获取用户真实ip的 proxy_s ...
分类:
其他好文 时间:
2021-06-02 10:57:40
阅读次数:
0
前言 本文只讲如何部署,然后会贴出具体配置,以及如何验证是否部署成功(redis 版本采用 4.0.6 )。既不会介绍 redis 如何安装(本人采用源码安装方式),也不会涉及主从复制,哨兵模式具体原理及工作机制等内容。 后续会再补充 ~ 配置 关于 redis 的配置文件 redis.conf 的 ...
分类:
其他好文 时间:
2021-05-25 18:41:45
阅读次数:
0
一、介绍 1、基本介绍 MongoDB部署架构分为单机、复制集群、分片集群。单机适合学习用,分片集群比较复杂且运维难度高。 分片集群是把大型数据集进行拆分,分片到多个MongoDB节点上,这些节点组成了分片集群。分片结构如下: 2、词汇表 Shard:分片,存储集群中的一部分数据。可以是单个mong ...
分类:
数据库 时间:
2021-05-25 17:49:26
阅读次数:
0
安装准备 Spark 集群和 Hadoop 类似,也是采用主从架构,Spark 中的主服务器进程就叫 Master(standalone 模式),从服务器进程叫 Worker Spark 集群规划如下: node-01:Master node-02:Worker node-03:Worker 安装步 ...
分类:
其他好文 时间:
2021-05-24 17:07:05
阅读次数:
0
python 实现 kakfa 的 生产消费模式 和 发布订阅模式(已安装好 kafka 的情况下) 生产者 producer_demo.py from kafka import KafkaProducer, KafkaConsumer from kafka.errors import kafka_ ...
分类:
编程语言 时间:
2021-05-24 16:44:34
阅读次数:
0
环境:Ubuntu16.04 jdk8 doris编译: ## 1. 开启```bashdocker run -d -it \--name doris \--net=host \-v /volume1/doris/incubator-doris:/root/incubator-doris/ apac ...
分类:
其他好文 时间:
2021-05-24 15:57:19
阅读次数:
0