记录下和kafka相关的语义、不重复消息、不丢失数据、分区有序的内容，文中很多理解参考文末博文、书籍还有某前辈。 kafka语义 kafka中有三种语义，它对理解下面的不重复消费有帮助。 最多一次（at most once）：消息最多被处理一次，可能有消息丢失的风险。 至少一次（at least o ...
分类：
其他好文 时间：
2020-04-10 22:53:46
阅读次数：
144
maxwell通过实时收集mysql的binlog变化，可以作为数据同步工具。但有时，应用部署在异地环境，mysql数据库的变化通过maxwell无法直接发送到数据中心进行解析和数据同步，本次使用ngix方式作为代理服务器，收集maxwell发送的json数据后，发送到后端的kafka集群。架构如下：1，多个应用平台分布在不同地域内，远端mysql数据库，可以访问互联网。2，在本地数据中心，使用n
分类：
其他好文 时间：
2020-04-10 10:39:10
阅读次数：
93
1.通过自建kafka的生产者来产生数据 /bin/kafka-console-producter.sh --broker-list 192.168.58.177:9092 --topic my_topic 数据 {"user_id": "543462", "item_id":"1715", "ca ...
分类：
数据库 时间：
2020-04-09 19:09:25
阅读次数：
458
Zookeeper 我想大家都不陌生，在很多场合都听到它的名字。它是 Apache 的一个顶级项目，为分布式应用提供一致性高性能协调服务。可以用来做：配置维护、域名服务、分布式锁等。有很多开源组件，尤其是中间件领域，使用 Zookeeper 作为配置中心或者注册中心。它是 Hadoop 和 HBase 的重要组件，是 Kafka 的管理和协调服务，是 Dubbo 等服务框架的注册中心等。
分类：
其他好文 时间：
2020-04-09 11:05:58
阅读次数：
97
由于工作需求要在一台机器上部署flink和kafka的测试环境, 所以用到了docker 查看内核版本, 最好为3.10版本以上 更新yum源 安装需要的软件包， yum util 提供yum config manager功能，另外两个是devicemapper驱动依赖的 设置 yum源 这里用阿里 ...
分类：
其他好文 时间：
2020-04-08 19:25:42
阅读次数：
88
Docker 安装基于docker环境搭建kafka集群（单机版)基于 Docker 安装 zabbixweblogic 详解归类 : 目录 ...
分类：
其他好文 时间：
2020-04-08 18:54:17
阅读次数：
62
ORACLE的DDL日志 推送到Kafka，并接入Flink，进行统计 本次测试的环境： 环境：docker oracle12c 日志模式：归档日志模式 archivelog 用户：scott/tiger 具有dba权限 大数据组件：kafka(默认创建好topic：flink_topic)，zoo ...
分类：
数据库 时间：
2020-04-08 16:07:45
阅读次数：
508
日志是每个系统最为头疼的地方，杂乱，还多，没有还不行，想管理好的话，得经得起考验，要解决的问题总结如下： （1）高并发 （2）高吞吐量 （3）支持分布式集群 （4）检索要快 简介： 1.Zoomkeeper Kafka的通道 2. Kafka Kafka主要是解决大量日志的处理的分布式发布订阅消息系 ...
分类：
Web程序 时间：
2020-04-08 12:05:55
阅读次数：
124
ELK下载 https://www.elastic.co/cn/downloads/ Elasticsearch搭建 "Elasticsearch" "集群" Logstash搭建 因为没有真实的环境的，我就手动上传了两个log日志文件做测试使用 在Logstash/config下面新增一个配置文件 ...
分类：
其他好文 时间：
2020-04-08 09:50:38
阅读次数：
76
一、发展历程 早期淘宝内部有两套消息中间件系统：Notify和Napoli。 先有的Notify(至今12历史)，后来因有序场景需求，且恰好当时Kafka开源(2011年)，所以参照Kafka的设计理念自研了RocketMQ。 目前Notify和RocketMQ二者的定位如下: RocketQ 主要 ...
分类：
其他好文 时间：
2020-04-07 22:20:50
阅读次数：
72
