定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用与大数据实时处理领域。 消息队列 Kafka 本质上是一个 MQ(Message Queue),使用消息队列的好处?(面试会问) 解耦:允许我们独立的扩展或修改队列两边的处理过程。 可恢复性:即使一个 ...
分类:
其他好文 时间:
2020-06-15 16:11:29
阅读次数:
53
The Google search engine has two important features that help it produce high precision results. First, it makes use of the link structure of the Web ...
分类:
Web程序 时间:
2020-06-09 14:21:52
阅读次数:
82
一、kafka 介绍 1.1、kafka 介绍 Kafka 是一个分布式消息引擎与流处理平台,经常用做企业的消息总线、实时数据管道,有的还把它当做存储系统来使用。 早期 Kafka 的定位是一个高吞吐的分布式消息系统,目前则演变成了一个成熟的分布式消息引擎,以及流处理平台。 Kafka 主要起到削峰 ...
分类:
其他好文 时间:
2020-06-04 19:38:12
阅读次数:
162
xcode 11.0在使用libusb开发的时候,编译的过程中经常会出现以下错误,每次都必须clean才能恢复正常, 根据提示将build phases的Compile Sources直接挪动到最后边,没能解决问题 也有人说Target ->Build Phases下,把Embed APP Exte ...
分类:
其他好文 时间:
2020-06-01 18:05:08
阅读次数:
179
发送端的可选配置 acks acks 配置表示 producer 发送消息到 broker 上以后的确认值。有三个可选项 Ø 0:表示 producer 不需要等待 broker 的消息确认。这个选项时延最小但同时风险最大(因为当 server 宕机时,数据将会丢失)。 Ø 1:表示 produce ...
分类:
其他好文 时间:
2020-05-31 21:27:40
阅读次数:
48
前言 要了解生产者ISR,需要提前了解下生产者重试机制和应答机制 生产者重试机制 创建生产者时,可以指定retries参数,如果向broker发送消息时抛出异常,并且异常是可重试异常RetriableException,那么此时就会按照指定的次数进行重试 1、哪些情况下可以重试 (1)没有到deli ...
分类:
其他好文 时间:
2020-05-31 18:19:32
阅读次数:
105
{ 编译.so 的android api >= 打包apk的api } { /* * Copyright (C) 2017 The Android Open Source Project * All rights reserved. * * Redistribution and use in sou ...
分类:
移动开发 时间:
2020-05-28 09:16:08
阅读次数:
168
实时数据订阅与分发系统可以将业务数据源变更实时分发分发到消息总线上,并维护消息的统一格式,提供通用的客户端框架供消息生产者与下游业务接入。 一般能用于以下场景: 索引构建:MySQL到ES 缓存管理:MySQL到Redis或本地cache 数据库镜像 实时备份 价格变化等重要业务信息订阅 实时数据订 ...
分类:
其他好文 时间:
2020-05-28 00:42:10
阅读次数:
182
1.pulsar概述 Apache Pulsar 是灵活的发布-订阅消息系统(Flexible Pub/Sub messaging),采用分层分片架构(backed by durable log/stream storage)。 Apache Pulsar 是一个开源的分布式pub-sub消息系统, ...
分类:
其他好文 时间:
2020-05-06 17:53:05
阅读次数:
75
如何将这么大的数据量均匀地分配到 Kafka 的各个 Broker 上,就成为一个非常重要的问题 为什么分区? Kafka 有主题(Topic)的概念,它是承载真实数据的逻辑容器 而在主题之下还分为若干个分区,也就是说 Kafka 的消息组织方式实际上是三级结构:主题 - 分区 - 消息 主题下的每 ...
分类:
其他好文 时间:
2020-05-03 14:35:58
阅读次数:
72