码迷,mamicode.com
首页 >  
搜索关键字:kafka jstorm    ( 4335个结果
消费消息+手动提交+同步异步
依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> </dependency> 代码 package com.perfect.kafka; import org.apac ...
分类:其他好文   时间:2020-07-21 01:09:32    阅读次数:114
kafka在高并发的情况下,如何避免消息丢失和消息重复?
思考: 1,消息丢失是什么造成的,从生产端和消费端两个角度来考虑? 2,消息重复是什么造成的,从生产端和消费端两个角度来考虑? 3,如何保证消息有序? 4,如果保证消息不重不漏,损失的是什么? 1.为什么会发生消息丢失和消息重复?消息发送Kafka消息发送有两种方式:同步(sync)和异步(asyn ...
分类:其他好文   时间:2020-07-21 00:57:57    阅读次数:177
kafka第二天(kafka配置参数详解)
<div id="cnblogs_post_body" class="blogpost-body "> <p><strong>Broker &nbsp;Configs</strong></p><p>&nbsp;</p><p>&nbsp;</p><table style="width: 800px; ...
分类:其他好文   时间:2020-07-20 17:18:44    阅读次数:72
Kafka学习入门(windows环境下)
1.创建一个topic (它有一个分区和副本) bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 2.查看已有的top ...
分类:Windows程序   时间:2020-07-20 15:35:04    阅读次数:93
Windows环境下Zookeeper的安装及启动
一、下载及安装配置 JDK (Kafka依赖于Zookeeper服务,而Zookeeper的运营依赖JDK) 1.地址:https://www.oracle.com/java/technologies/javase-jdk14-downloads.html 下载windows可执行文件,直接点击安装 ...
分类:Windows程序   时间:2020-07-18 22:08:50    阅读次数:94
logstash配置文件
仅罗列了一些常用基础配置,更多配置请到官网查看 https://www.elastic.co/guide/en/logstash/current logstash.yml配置文件 # Node identity #节点名称,默认主机名 node.name: test # Data path #数据存 ...
分类:其他好文   时间:2020-07-18 22:04:24    阅读次数:88
Windows环境下载安装Kafka
前提:需要提前下载JDK 1.下载地址:https://kafka.apache.org/ 2.需要先启动ZooKeeper服务器(可以通过与kafka打包在一起的便捷脚本来快速简单地创建一个单节点ZooKeeper实例。) 命令: bin\windows\zookeeper-server-star ...
分类:Windows程序   时间:2020-07-18 21:59:27    阅读次数:120
Kafka重平衡机制
当集群中有新成员加入,或者某些主题增加了分区之后,消费者是怎么进行重新分配消费的?这里就涉及到重平衡(Rebalance)的概念,下面我就给大家讲解一下什么是 Kafka 重平衡机制,我尽量做到图文并茂通俗易懂。 重平衡的作用 重平衡跟消费组紧密相关,它保证了消费组成员分配分区可以做到公平分配,也是 ...
分类:其他好文   时间:2020-07-18 00:48:57    阅读次数:97
Kafka-如何保证可靠性
Kafka-可靠性保证-保证了哪些可靠性 ACID是关系型数据库普遍支持的标准可靠性保证。 ACID:原子性(atomicity)、一致性(consistency)、隔离性(isolation)、持久性(durability) 如果数据库遵循ACID规范,那么该数据库就支持与事务相关的行为。 kaf ...
分类:其他好文   时间:2020-07-16 00:19:13    阅读次数:71
Paxos算法
这篇文章主要用来介绍Kafka & Zookeeper相关基础知识。 1. Kafka是由Linkedin开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景,之后于2 ...
分类:编程语言   时间:2020-07-15 23:49:56    阅读次数:93
4335条   上一页 1 ... 21 22 23 24 25 ... 434 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!