消费者api，自动提交offset public class MyConsumer { public static void main(String[] args) { Properties props = new Properties(); //连接的集群 props.put(ConsumerCo ...
文本是在window下搭建单机版的ELK,ES用到的版本是2.4.0（为什么用这个版本，很大一个原因是能直接用自带插件工具去下载es_head插件，非常方便），logstash用的版本是7.6.2（亲自踩坑2.4.0，足足花了一个早上，发现用2.4.0报缺少log4j和无法读取日志文件），kiban ...
1，安装logstash-output-zabbix [root@moban7 bin]# /usr/local/logstash/bin/logstash-plugin install logstash-output-zabbix 2，创建一个logstash测试文件，测试到zabbix的输出是否 ...
分类：
其他好文 时间：
2020-05-10 14:32:26
阅读次数：
59
Kafka快速入门（一）——Kafka简介一、ApacheKafka简介1、ApacheKafka简介ApacheKafka是一款开源的消息引擎系统，同时也是分布式流处理平台。消息引擎系统是一组在不同系统之间传递语义准确的消息，实现松耦合的异步式数据传递的规范。2、Kafka设计目标Kafka的设计目标如下：（1）以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间
分类：
其他好文 时间：
2020-05-10 10:23:30
阅读次数：
116
1.写在前面 在利用spark计算引擎将kafka或其他源数据组件的数据入hive形成数仓的过程中有两种方式，一种方式是利用spark Rdd的API将数据写入hdfs形成hdfs文件，之后再将文件和hdfs文件和hive表做加载映射。第二种方式是利用sparkSQL将获取的数据Rdd转换成data ...
分类：
数据库 时间：
2020-05-09 19:20:15
阅读次数：
100
前言 "ELK"是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash 和 Kibana。Elasticsearch 是一个搜索和分析引擎。Logstash 是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如 Elasticsear ...
分类：
其他好文 时间：
2020-05-09 01:25:53
阅读次数：
79
搭建ELK日志分析平台的详细过程 日志分析系统-ELK平台 由于日志文件都离散的存储在各个服务实例的文件系统之上，仅仅通过查看日志文件来分析我们的请求链路依然是一件相当麻烦的差事。 ELK平台，它可以轻松的帮助我们来收集和存储这些跟踪日志，同时在需要的时候我们也可以根据Trace ID来轻松地搜索出 ...
分类：
其他好文 时间：
2020-05-08 22:46:01
阅读次数：
109
Kafka 152.kafka 可以脱离 zookeeper 单独使用吗？为什么？ kafka 不能脱离 zookeeper 单独使用，因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。 153.kafka 有几种数据保留的策略？ kafka 有两种数据保存策略： 1 ...
分类：
编程语言 时间：
2020-05-08 20:07:20
阅读次数：
113
前言 涵盖各大公司会问到的面试点，同时随着版本的升级，可能也会有一些面试题更新，也会同步保持更新，因为篇幅原因（其实是我懒，哈哈）所以列了一部分答案，所有的答案见下文，总共485页合计20个技术点，文末自取pdf. 1、如何获取 topic 主题的列表 bin/kafka-topics.sh --l ...
分类：
编程语言 时间：
2020-05-08 18:13:47
阅读次数：
87
