主要是利用命令envsubst能实现变量的替换并生成新得配置文件以及docker命令行的变量输入等。 本次实验主要是编写flume镜像，并在容器启动(docker run)时动态修改配置文件并启动，并向flume发数据，然后发给kafka。 此实验的基础： 会dockerfile的编写，熟悉flum ...
分类：
其他好文 时间：
2020-05-15 17:44:38
阅读次数：
237
为何采用 TCP？ Apache Kafka 的所有通信都是基于 TCP 的 而不是基于 HTTP 或其他协议 无论是生产者、消费者，还是 Broker 之间的通信都是如此 人们能够利用 TCP 本身提供的一些高级功能，比如多路复用请求以及同时轮询多个连接的能力 所谓的多路复用请求，即 multip ...
分类：
编程语言 时间：
2020-05-14 15:58:34
阅读次数：
102
第一部分 概括 ELK是集分布式数据存储、可视化查询和日志解析于一体的日志分析平台。ELK=elasticsearch+Logstash+kibana，三者各司其职，相互配合，共同完成日志的数据处理工作。ELK各组件的主要功能如下： elasticsearch，数据存储以及全文检索； logstas ...
分类：
数据库 时间：
2020-05-14 02:03:08
阅读次数：
148
前言消息中间件本质上就是一种很简单的数据结构——队列，但是一条队列肯定是当不成中间件的，你必须要考虑性能、容灾、可靠性等等因素。这也给我的写作提供了一些思路，我将从队列开始，给你演示一条队列是如何进化成一个靠谱的中间件的。消息中间件的实现有很多，有新贵Kafka、RocketMq，也有老牌劲旅RabbitMq和ActiveMq，不过我最后选择了Nsq来讲解，因为它极简、清爽，用起来舒服，讲起来也好
分类：
其他好文 时间：
2020-05-14 01:54:02
阅读次数：
76
一．创建Springboot项目，添加如下依赖<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><gro
分类：
编程语言 时间：
2020-05-14 01:10:51
阅读次数：
67
Flink 的核心语义和架构模型我们在讲解 Flink 程序的编程模型之前，先来了解一下 Flink 中的 Streams、State、Time 等核心概念和基础语义，以及 Flink 提供的不同层级的 API。 Flink 核心概念Streams（流），流分为有界流和无界流。有界流指的是有固定大小 ...
分类：
其他好文 时间：
2020-05-13 20:23:42
阅读次数：
58
kafka有问题解决方式:1、把kafka进程杀掉2、进到zookeeper客户端bin/zkCli.sh3、查看节点Is/4、把除了zookeeper的节点其余全部删除rmr /节点5、删除kafka目 录下的logs以及kafka logs 目录中的所有内容6、重启kafka /opt/kafk ...
分类：
其他好文 时间：
2020-05-11 23:26:35
阅读次数：
53
个人在学习Kafka ， 这两天在看官方文档。看完了简介部分，看完做个小总结。看看官方是怎么夸Kafka的。## 三大特性- 发布-订阅- 持久化存储- 低延迟的实时处理## 特性梳理- Topic ： 逻辑概念，承载数据的实体- 数据的保存期限可以设置- 磁盘是顺序读写，IO不是瓶颈- 可以处理大... ...
分类：
其他好文 时间：
2020-05-11 21:42:33
阅读次数：
50
连接kafka时，经常遇到配置kafka连接信息连接失败，程序后台一直打印连接失败信息，或者由于连接不上kafka程序启动直接失败情况，考虑一种方案如下： 从从zookeeper中读取kafka集群信息，如果kafka集群信息中有配置的kafka连接信息，则说明kafka正常启动，已注册到zooke ...
分类：
其他好文 时间：
2020-05-11 15:46:53
阅读次数：
49
mysql的B+树索引 查找使用了二分查找，redis 跳表也使用了二分查找法，kafka查询消息日志也使用了二分查找法，二分查找法时间复杂度O(logn); 参考：redis的索引底层的 跳表原理 实现 聊聊Mysql索引和redis跳表 redis的跳表原理 时间复杂度O(logn)(阿里) 参 ...
分类：
其他好文 时间：
2020-05-11 01:34:25
阅读次数：
79
