https://blog.csdn.net/qq_28900249/article/details/90346599 1、为什么要使用 kafka，为什么要使用消息队列 缓冲和削峰 解耦和扩展性 冗余 健壮性 异步通信 2、kafka的分区与消费者关系 分区（partition）kafka中的top ...
分类：
其他好文 时间：
2020-03-30 09:54:44
阅读次数：
91
1.框架选型 hadoop 3.1.3 hive 3.1.2 zookeeper 3.5.7 hbase 2.2.3 kafka_2.11 2.4.0 spark 2.4.5 bin hadoop2.7 2.安装前准备 1.关闭防火墙 2.安装 JDK 3.安装 Scala 4.配置ssh 免密 5 ...
分类：
其他好文 时间：
2020-03-30 00:06:39
阅读次数：
66
Kafka-硬件的选择 磁盘吞吐量（重要，影响生产者） 生产者客户端的性能直接受到服务器端磁盘吞吐量的影响。 生产者生成的消息必须被提交到服务器保存，大多数客户端在发送消息后会一直等待，直到至少一个服务器确认消息已经成功提交为止。 磁盘写入速度越快，生成消息的延迟就越低。 磁盘容量（制约集群规模） ...
分类：
其他好文 时间：
2020-03-29 13:00:28
阅读次数：
102
原文：再过半小时，你就能明白kafka的工作原理了 会出现什么情况呢？ 1、为了这个女朋友，我请假回去拿（老板不批）。 2、小哥一直在你楼下等（小哥还有其他的快递要送）。 3、周末再送（显然等不及）。 4、这个女朋友我不要了（绝对不可能）！ 在上面例子中，“快递小哥”和“买女朋友的我”就是需要交互的 ...
分类：
其他好文 时间：
2020-03-27 13:00:35
阅读次数：
75
目录 6.2 Zookeeper在大型分布式系统中的应用 6.2.1 Hadoop YARN介绍 如何解决ResourceManager单点问题，实现高可用？ 6.2.3 Kafka 术语介绍 问题 Kafka与Zookeeper Broker注册管理 Topic注册管理 生产者负载均衡 消费者负载 ...
分类：
其他好文 时间：
2020-03-27 10:40:50
阅读次数：
117
先描述下这里的业务：我们有一个父类A，多个继承A的AA类、AB类、AC类，多了一些不同的业务字段。业务分为多个端，如：甲端、乙端，通过kafka来交互数据，数据格式为一个VO，包含多个业务属性以外，还有一个List<A>属性引用类，这里实质内容还是AA、AB、AC类。甲端封装好对应的参数后，传递给乙 ...
分类：
编程语言 时间：
2020-03-26 19:48:31
阅读次数：
63
Kafka Kafka是如何控制超时的？ 如何管理大量的topic，有哪些问题？ 零拷贝计数在Kafka中使用会有哪些副作用？ 为何大厂大规模实践中很少用Kafka？ 和其他MQ的比较：优缺点 多看源码 Mysql 项目中是如何分库分表保证服务不停机的 注册中心 注册中心需要满足CAP理论中的哪两个 ...
分类：
其他好文 时间：
2020-03-26 19:18:10
阅读次数：
56
本章目录 1、概述 2、安装配置计算节点 一、概述 计算节点上： "https://docs.openstack.org/nova/rocky/install/compute install.html" nova compute调用libvirtd来创建虚拟机 nova compute的功能可以分为 ...
分类：
其他好文 时间：
2020-03-25 23:51:17
阅读次数：
182
从头消费数据需满足两个条件： 1. groupid为新的 2. auto_offset_reset_config的值为earliest Properties p = new Properties(); p.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "1 ...
分类：
其他好文 时间：
2020-03-25 23:47:02
阅读次数：
137
3.Partition Replication原则 Kafka高效文件存储设计特点 Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。 通过索引信息可以快速定位message和确定response的最大大小。 通过 ...
分类：
其他好文 时间：
2020-03-25 21:12:05
阅读次数：
54
