# Flume 监控文本文件sink到kafka a1.sources = r1a1.sinks = k1a1.channels = c1 # Describe/configure the source a1.sources.r1.type = execa1.sources.r1.command = ...
分类：
Web程序 时间：
2020-04-15 18:06:21
阅读次数：
74
说明：本次使用的windows系统，利用vm进行安装虚拟机,安装的只是单测试单机版elk。 一、下载vm 自行官网下载 二、安装centos7系统 自己有现成的镜像跳过，没有自行查找资料完成 三、进行centos系统后进行docker安装 1）yum install docker(后面一路回车) 2 ...
分类：
其他好文 时间：
2020-04-15 11:01:10
阅读次数：
121
24道常见Elasticsearch面试题（截取部分）1、客户端在和集群连接时，如何选择特定的节点执行请求的？2、详细描述一下Elasticsearch索引文档的过程。3、详细描述一下Elasticsearch更新和删除文档的过程。4、详细描述一下Elasticsearch搜索的过程。5、在Elasticsearch中，是怎么根据一个词找到对应的倒排索引的？6、Elasticsearch在部署时，
分类：
系统相关 时间：
2020-04-15 09:19:23
阅读次数：
89
springCloud Bus 是什么？ springCloud Bus 是用来将分布式系统的节点与轻量级消息系统连接起来的框架，它整合了java的事件处理机制和消息中间件的功能。 Bus支持两种消息代理：RabbitMQ和 Kafka。 作用： Bus可以管理和传播分布式系统间的消息，就像一个分布 ...
分类：
编程语言 时间：
2020-04-15 00:44:50
阅读次数：
114
概述 场景 服务解耦 削峰填谷 异步化缓冲：最终一致性/柔性事务 MQ应用思考点 生产端可靠性投递 消费端幂等：消息只能消费一次 高可用、低延迟、可靠性 消息堆积能力 可扩展性 业界主流MQ ActiveMQ：适合传统需求，并发性差 RabbitMQ：扩展性差 RocketMQ：扩展性强 Kafka ...
分类：
编程语言 时间：
2020-04-15 00:32:15
阅读次数：
107
前言 近期在研究各种消息队列方案，为了有一个直观的使用体验，我把Kafka，RocketMQ，RabbitMQ各自部署了一遍，并使用了最基本的生产与消费消息功能。在部署过程中也遇到一些问题，特此记录。本文只适用于没有使用过消息队列，还停留在安装部署阶段的新手用户，要了解一个软件，最好的开始方法是开始 ...
分类：
其他好文 时间：
2020-04-14 21:03:28
阅读次数：
69
基础概念 Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大量日志数据，也可用于搜索许多不同类型的文档。 Beats 是数据采集的得力工具。将 Beats 和您的容器一起置于服务器上，或者将 Beats 作为函数加以部署，然后便可在 ...
分类：
Web程序 时间：
2020-04-14 20:38:18
阅读次数：
227
接上一篇kafka环境搭建完成后，进入测试阶段，首先试一下最基本的生产与消费者。 1、创建topic，使用 kafka-topics.sh 创建 topic test bin/kafka-topics.sh --create --zookeeper localhost:2181 --replicat ...
分类：
其他好文 时间：
2020-04-14 19:05:32
阅读次数：
118
一，安装librdkafka sudo wget https://github.com/edenhill/librdkafka/archive/v0.9.4.tar.gz -O librdkafka-0.9.4.tar.gzsudo tar -zxvf librdkafka-0.9.4.tar.gz ...
分类：
Web程序 时间：
2020-04-14 17:00:45
阅读次数：
106
kafa部署在k8s中，并且使用statefulset 方式部署，应用pod连接kafka 使用 kafka-0.kafka-hs.sy-platform-demo.svc.cluster.local.:9093， 如果k8s 外部开发测试，无法连接，所以需要外部网络与pod service网络打通 ...
分类：
其他好文 时间：
2020-04-14 12:28:52
阅读次数：
321
