一、Kafka持久化概述 Kakfa 依赖文件系统来存储和缓存消息。对于硬盘的传统观念是硬盘总是很慢，基于文件系统的架构能否提供优异的性能？实际上硬盘的快慢完全取决于使用方式。同时 Kafka 基于 JVM 内存有以下缺点： 对象的内存开销非常高，通常是要存储的数据的两倍甚至更高 随着堆内数据的增加 ...
分类：
其他好文 时间：
2020-06-22 18:56:23
阅读次数：
70
SQL单行拆分多行 不需要自建自增的辅助表，Mysql自带help_topic可以使用； SELECT SUBSTRING_INDEX( SUBSTRING_INDEX( target_column, ',', b.help_topic_id + 1 ), ',', -1 ) AS coop_bra ...
分类：
数据库 时间：
2020-06-22 17:10:46
阅读次数：
86
Your country has an infinite number of lakes. Initially, all the lakes are empty, but when it rains over the nth lake, the nth lake becomes full of wa ...
分类：
其他好文 时间：
2020-06-22 15:46:01
阅读次数：
58
这段代码其实是在 “廖雪峰官方网站” 里的对于 python 中 高阶函数 filter 的使用 中看到的，当时学的时候在这个地方思考了蛮久，觉得很有意思，就进行了一点整理。 文中给出了这样的一段删除空字符串的代码： def not_empty(s): return s and s.strip() ...
分类：
编程语言 时间：
2020-06-22 13:09:48
阅读次数：
68
恢复内容开始 kafka源码解读 一. 概述 1.前言 在大数据的场景里面如何应对数据激增，数据复杂度增加以及数据变化速率变快，这都是体现了大 数据架构师，Java架构师的功力。而Kafka能很好的解决这些问题。 Kafka的源码是众多开源的技术里面代码质量比较高的一个，所以本身研究它的源码就比较有 ...
分类：
其他好文 时间：
2020-06-22 12:49:59
阅读次数：
79
Kafka架构在硬件选择方面，以重要性顺序考虑以下4点： 1) 磁盘（最重要）。影响最大的事生产者，读写速度。需参考多个分区、多个目录，如一个分区每天生产1TB数据，10天就是10GB，再乘以分区数量。 2）网络。生产者、消费者写入、读取速度 3）内存。影响消费者，因为生产者如果写不了内存可以写磁盘 ...
分类：
其他好文 时间：
2020-06-22 01:34:55
阅读次数：
49
数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
对于消息组件，如果按照最初的设计来讲，性能最高得就是RabbitMQ，因为RabbitMQ设计比较完整，而Kafka不同，Kafka最初的设计最大的坑：没有安全认证，所以最初的一些系统设计的时候为了考虑到安全性，所以采用了性能较差的ssl认证方式来进行出来，也就是说使用证书的方式来处理认证操作。 如 ...
分类：
其他好文 时间：
2020-06-21 23:22:34
阅读次数：
81
1.前言 电脑用了很多年了，安装的windows7，经常出现很卡的情况，于是今天索性重装了系统。既然重装系统，选择什么系统好呢，windows10系统的话，对于我这老旧本来说，可能真的是为难它了。刚好ubuntu20发行没多久，于是尝试安装了ubuntu20.04。刚开始安装ubuntu20的时候， ...
分类：
微信 时间：
2020-06-21 19:59:35
阅读次数：
84
$ cat -n config/server.properties broker.id=0 // broker ID, 集群模式下该ID必须唯一，且永恒不变 listeners=PLAINTEXT://your_host_name:9092 // 配置你的应用所在IP地址，我理解为访问白名单配置 z ...
分类：
其他好文 时间：
2020-06-21 19:35:58
阅读次数：
133
