1、UnknownTopicOrPartitionException 报错内容:分区数据不在 原因分析:producer向不存在的topic发送消息,用户可以检查topic是否存在 或者设置auto.create.topics.enable参数 2、LEADER_NOT_AVAILABLE 报错内容 ...
分类:
其他好文 时间:
2019-09-17 09:16:47
阅读次数:
121
分区 分区就是把一个数据表的文件和索引分散存储在不同的物理文件中。把一张表的数据分成N多个区块,这些区块可以在同一个磁盘上,也可以在不同的磁盘上,数据库不同实现方式有所不同。 与分表不同,一张大表进行分区后,他还是一张表,不会变成二张表,但是他存放数据的区块变多了。分区的概念,我觉得就想突破磁盘I/ ...
分类:
数据库 时间:
2019-09-17 09:15:05
阅读次数:
155
exchange常见类型有3种,分别如下 “fanout” 将发送到该交换器的消息路由到所有与该交换器绑定的队列中。 ”direct“ 将发送到该交换器的消息路由到那些BindingKey和RoutingKey完全匹配的队列中 “topic” 与“direct”类型交换器相似,将消息路由到Bindi ...
分类:
其他好文 时间:
2019-09-16 21:59:02
阅读次数:
114
Flink跟其他的流计算引擎相比,最突出或者做的最好的就是状态的管理.什么是状态呢?比如我们在平时的开发中,需要对数据进行count,sum,max等操作,这些中间的结果(即是状态)是需要保存的,因为要不断的更新,这些值或者变量就可以理解为是一种状态,拿读取kafka为例,我们需要记录数据读取的位置 ...
分类:
其他好文 时间:
2019-09-15 23:54:58
阅读次数:
297
request对象 当一个页面被请求时,Django就会创建一个包含本次请求原信息的HttpRequest对象。Django会将这个对象自动传递给响应的视图函数,一般视图函数约定俗成地使用 request 参数承接这个对象。 请求相关的值 path_info 返回用户访问url,不包括域名 meth ...
分类:
其他好文 时间:
2019-09-15 19:43:47
阅读次数:
137
SUBSCRIBE 报文 固定报头: 剩余长度字段 表示可变报头的长度加上有效载荷的长度,被编码为变长字节整数。 可变报头 SUBSCRIBE报文可变报头按顺序包含以下字段:报文标识符(Packet Identifier),属性(Properties)。 范例:可变报头(没有属性),报文标识符为10 ...
分类:
其他好文 时间:
2019-09-14 22:19:41
阅读次数:
134
Topic:可以理解为一个队列,生产者和消费者面向的都是一个 topic。 Partition:主要为了做负载,实现扩展性,一个非常大的 topic 可以分布到多个 broker(即服务器)上,一个 topic 可以分为多个 partition,每个 partition 是一个有序的队列。 一、to ...
分类:
系统相关 时间:
2019-09-13 17:16:17
阅读次数:
90
https://gerardnico.com/ide/notepad/replace https://notepad plus plus.org/community/topic/16787/find and replace using regular expression http://www.pn ...
分类:
其他好文 时间:
2019-09-12 12:55:43
阅读次数:
80
一、MirrorMaker介绍 MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具从源集群中消费并生产到目标群集。这种镜像的常见用例是在另一个数据中心提供副本。 图1. MirrorMaker 对于迁移的topic而言,topic名字一样, partiti ...
分类:
其他好文 时间:
2019-09-11 20:17:55
阅读次数:
115
一.前言 任何消息队列都是万变不离其宗都是3部分,消息生产者(Producer)、消息消费者(Consumer)和服务载体(在Kafka中用Broker指代)。那么本篇主要讲解Producer端,会有适当的图解帮助理解底层原理。 一.开发应用 首先介绍一下开发应用,如何构建一个KafkaProduc ...
分类:
其他好文 时间:
2019-09-10 22:05:10
阅读次数:
115