一、Kafka持久化概述 Kakfa 依赖文件系统来存储和缓存消息。对于硬盘的传统观念是硬盘总是很慢，基于文件系统的架构能否提供优异的性能？实际上硬盘的快慢完全取决于使用方式。同时 Kafka 基于 JVM 内存有以下缺点： 对象的内存开销非常高，通常是要存储的数据的两倍甚至更高 随着堆内数据的增加 ...
分类：
其他好文 时间：
2020-06-22 18:56:23
阅读次数：
70
恢复内容开始 kafka源码解读 一. 概述 1.前言 在大数据的场景里面如何应对数据激增，数据复杂度增加以及数据变化速率变快，这都是体现了大 数据架构师，Java架构师的功力。而Kafka能很好的解决这些问题。 Kafka的源码是众多开源的技术里面代码质量比较高的一个，所以本身研究它的源码就比较有 ...
分类：
其他好文 时间：
2020-06-22 12:49:59
阅读次数：
79
Kafka架构在硬件选择方面，以重要性顺序考虑以下4点： 1) 磁盘（最重要）。影响最大的事生产者，读写速度。需参考多个分区、多个目录，如一个分区每天生产1TB数据，10天就是10GB，再乘以分区数量。 2）网络。生产者、消费者写入、读取速度 3）内存。影响消费者，因为生产者如果写不了内存可以写磁盘 ...
分类：
其他好文 时间：
2020-06-22 01:34:55
阅读次数：
49
数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
对于消息组件，如果按照最初的设计来讲，性能最高得就是RabbitMQ，因为RabbitMQ设计比较完整，而Kafka不同，Kafka最初的设计最大的坑：没有安全认证，所以最初的一些系统设计的时候为了考虑到安全性，所以采用了性能较差的ssl认证方式来进行出来，也就是说使用证书的方式来处理认证操作。 如 ...
分类：
其他好文 时间：
2020-06-21 23:22:34
阅读次数：
81
$ cat -n config/server.properties broker.id=0 // broker ID, 集群模式下该ID必须唯一，且永恒不变 listeners=PLAINTEXT://your_host_name:9092 // 配置你的应用所在IP地址，我理解为访问白名单配置 z ...
分类：
其他好文 时间：
2020-06-21 19:35:58
阅读次数：
133
kafka基本命令查看博客《kafka2.5.0基本命令》 本博文所使用kafka版本2.5.0，操作系统centos8. 1）创建主题 创建my-topic主题，该主题有 1 个副本，8个分区： $ bin/kafka-topics.sh --create --bootstrap-server l ...
分类：
其他好文 时间：
2020-06-21 17:51:35
阅读次数：
59
1）启动zookeeper 演示用的话，直接启动kafka自带的zookeeper即可： cd kafkaDirectory/kafka_2.12-2.5.0 bin/zookeeper-server-start.sh config/zookeeper.properties 生产上建议连接到zook ...
分类：
其他好文 时间：
2020-06-21 15:31:46
阅读次数：
127
kafka 非常难，难在 broker 有角色之分，controller 起控制作用，难在副本有角色之分，leader 提供读写服务，所以 broker 会有状态的切换，副本也有状态的切换。 从一个具体的场景切入，4 节点集群(b1, b2, b3, b4)，存在 1 个分区 tp0 分布在 (b1 ...
分类：
其他好文 时间：
2020-06-21 00:49:58
阅读次数：
77
消息中间件你知道多少？通过调研了解总结如下一、市场上的消息中间件产品有哪些。RabbitMQ Elang语言 高效 吞吐量RockMQ 阿里产品ActiveMQ 传统 实现JMS规范 Kafka 大数据 日志采集 二、消息中间件的优点。削峰 用于高并发场景，进行削峰异步 提供用户操作响应时间，优化用 ...
分类：
其他好文 时间：
2020-06-20 22:37:52
阅读次数：
84
