Kafka是Apache下的一个子项目，是一个高性能跨语言分布式发布/订阅消息队列系统，吞吐速率非常快，可以作为Hadoop的日志收集。Kafka是一个完全的分布式系统，这一点依赖于Zookeeper的分布式实现。 本文为新手准备，从Kafka的一些术语概念方面去认识Kafka。 Broker Ka ...
分类：
其他好文 时间：
2020-09-18 17:19:41
阅读次数：
37
1. ELK架构简介 1.1 核心组成 ELK是一套开源免费且功能强大的日志分析管理系统，由Elasticsearch、Logstash、Kibana三部分组成，简称ELK。 ELK可以将系统日志、网站日志、应用系统日志等各种日志进行收集、过滤、清洗，然后进行集中存放并可用于检索、分析。 这三款软件 ...
分类：
其他好文 时间：
2020-09-18 01:22:40
阅读次数：
31
系统版本 centos 7.0 elk:6.7.2 jdk:1.8.0 1.elk结构 filebeat==>redis==>logstash==>es(群集)==>kibana 2.安装es群集 vim /etc/hosts 172.16.206.110 node-1 172.16.206.114 ...
分类：
其他好文 时间：
2020-09-18 00:56:30
阅读次数：
33
现如今，Kafka已不再是一个单纯的消息队列系统。Kafka是一个分布式的流处理平台，被越来越多的公司使用，Kafka可以被用于高性能的数据管道，流处理分析，数据集成等场景。本文分享总结了几个Kafka常见的面试问题，希望对你有所帮助。主要包括以下内容：Kafka是如何保障数据不丢失的？如何解决Kafka数据丢失问题？Kafka可以保障永久不丢失数据吗？如何保障Kafka中的消息是有序的？如何确定
分类：
其他好文 时间：
2020-09-17 23:41:36
阅读次数：
33
ELK是一种日志收集，分析的组合软件。ELK/EFK的组成部分，分别是：elasticsearch,logstash,kibanaelasticsearch(简称es数据库)：负责数据的存储，数据的分析，数据的搜索，是基于luncene做的二次开发。（es数据库是非关系型数据库）logstash：负责客户端日志收集工具，替代工具。（filebeat）kibana：负责数据的展示，查询。
分类：
其他好文 时间：
2020-09-17 22:03:38
阅读次数：
37
CSDN：程序员小羊 微信公众号：程序员小羊 1、Kafka 是什么 Kafka 是一种高吞吐量、分布式、基于发布/订阅的消息系统，最初由 LinkedIn 公司开发，使用Scala 语言编写，目前是 Apache 的开源项目。 broker： Kafka 服务器，负责消息存储和转发 topic：消 ...
分类：
其他好文 时间：
2020-09-17 21:42:29
阅读次数：
32
最近工作中呢，频频用到消息中心，包括异步转同步的功能，分布式收集日志信息等功能，在面试中也常会问到候选人关于消息中心的知识点，但大多数程序员，尤其是工作两三年的，虽然平时工作中都有用到消息中心，但都总是不能够说明白其中的原理，于是觉得有必要把消息中心作为一个篇章，专门进行总结梳理一番~看的时候，建议大家不妨先看看问题，自己先尝试回答一下，再看答案。看看自己掌握得如何了那准备好了的话，我们就要开始啦啊~
分类：
其他好文 时间：
2020-09-17 20:18:18
阅读次数：
21
有时，我们要维护一个数据结构，支持区间对x取min。 如果只有区间max/min查询，则可以把区间的所有节点的值对x取min。 标记可以合并，这样子时间复杂度是nlogn的。 但是如果有了区间和查询，则不能这么做。 虽然标记可以合并，但是无法更新区间最大值。 考虑维护区间严格次大值m2和区间严格次大 ...
分类：
其他好文 时间：
2020-09-17 19:22:52
阅读次数：
27
今天介绍用 Flink 读取Kafka生成的数据，并进行汇总的案例 第一步：环境准备，kafka，flink，zookeeper。我这边是用的CDH环境，kafka跟zookeeper 都安装完毕，并测试可以正常使用 第二步：用kafka创建一个生产者进行消息生产 ./kafka-console-p ...
分类：
其他好文 时间：
2020-09-17 18:33:12
阅读次数：
26
微服务系统架构实践 开发语言Java 8 框架使用Spring boot 服务治理框架Dubbo 容器部署Docker 持续集成Gitlab CI 持续部署Piplin 注册中心Zookeeper 服务管理Dubbo-admin 日志采集及分析ELK 链路追踪Zipkin/Tracing Analy ...
分类：
编程语言 时间：
2020-09-17 17:50:16
阅读次数：
37
