DaemonSet是这样一种对象（守护进程），它在集群的每个节点上运行一个Pod，且保证只有一个Pod，这非常适合一些系统层面的应用，例如日志收集、资源监控等，这类应用需要每个节点都运行，且不需要太多实例，一个比较好的例子就是Kubernetes的kube-proxy。DaemonSet跟节点相关，如果节点异常，也不会在其他节点重新创建。图1DaemonSet下面是一个DaemonSet的示例。a
分类：
系统相关 时间：
2020-11-27 11:19:41
阅读次数：
15
Flume概述官方文档：https://flume.apache.org/documentation.htmlFlume是一种分布式、高可靠和高可用的日志数据采集服务，可高效地收集、聚合和移动大量日志数据。它具有一种基于流数据的简单且灵活的体系结构。它具有健壮性和容错性，具有可调整的可靠性机制和许多故障切换和恢复机制。它使用一个简单的可扩展数据模型，允许在线分析应用程序。Flume架构及核心组件F
分类：
Web程序 时间：
2020-11-08 16:36:50
阅读次数：
26
docker-compose安装loki套件(loki+promtail+grafana) loki进行日志聚合处理 类似elk中的es promtail是日志收集，类似elk中的logstash filebeat等，如果是只收集docker容器的日志则可以用loki的docker plugin替代 ...
分类：
其他好文 时间：
2020-11-01 20:42:03
阅读次数：
55
开源日志收集Exceptionless简单使用 weixin_30463341 2018-06-07 18:30:00 124 收藏 文章标签： python 大数据 java 版权 这两天在研究一个开源的日志收集工具Exceptionless 官网地址：https://exceptionless. ...
Kafka是Apache下的一个子项目，是一个高性能跨语言分布式发布/订阅消息队列系统，吞吐速率非常快，可以作为Hadoop的日志收集。Kafka是一个完全的分布式系统，这一点依赖于Zookeeper的分布式实现。 本文为新手准备，从Kafka的一些术语概念方面去认识Kafka。 Broker Ka ...
分类：
其他好文 时间：
2020-09-18 17:19:41
阅读次数：
37
ELK是一种日志收集，分析的组合软件。ELK/EFK的组成部分，分别是：elasticsearch,logstash,kibanaelasticsearch(简称es数据库)：负责数据的存储，数据的分析，数据的搜索，是基于luncene做的二次开发。（es数据库是非关系型数据库）logstash：负责客户端日志收集工具，替代工具。（filebeat）kibana：负责数据的展示，查询。
分类：
其他好文 时间：
2020-09-17 22:03:38
阅读次数：
37
什么是ELK？ 通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，ELK是elastic公司研发的一套完整的日志收集、分析和展示的企业级解决方案，在这三个软件当中，每个软件用于完成不同的功能，ELK 又称为ELK stack，官方域名为e ...
分类：
其他好文 时间：
2020-09-17 15:51:53
阅读次数：
26
用户行为日志分析是实时数据处理很常见的一个应用场景，比如常见的PV、UV统计。本文将基于Flink从0到1构建一个用户行为日志分析系统，包括架构设计与代码实现。本文分享将完整呈现日志分析系统的数据处理链路，通过本文，你可以了解到：基于discuz搭建一个论坛平台Flume日志收集系统使用方式Apache日志格式分析Flume与Kafka集成日志分析处理流程架构设计与完整的代码实现项目简介本文分享会
分类：
其他好文 时间：
2020-09-11 16:03:01
阅读次数：
41
1.flume简介 Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 2.安装和使用说明 ...
分类：
Web程序 时间：
2020-08-13 22:07:34
阅读次数：
83
