配置日志收集系统 ELK需求背景：业务发展越来越庞大，服务器越来越多各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志开发人员排查问题，需要到服务器上查日志，不方便运营人员需要一些数据，需要我们运维到服务器上分析日志为什么要用到ELK：1.一般我们需要进行日志分析场景：直接 ...
分类：
其他好文 时间：
2020-07-27 15:45:28
阅读次数：
63
Logstash logstash基于JRuby实现，可以跨平台运行在JVM上 优点 主要的优点就是它的灵活性，这还主要因为它有很多插件。然后它清楚的文档已经直白的配置格式让它可以再多种场景下应用。这样的良性循环让我们可以在网上找到很多资源，几乎可以处理任何问题。 劣势 Logstash 致命的问题 ...
分类：
其他好文 时间：
2020-07-23 01:53:50
阅读次数：
171
1 kafka介绍 Kafka是一款性能非常好的并且支持分布式的消息队列中间件由于它的高吞吐特性，Kafka通常使用在大数据领域，如日志收集平台Kafka是一个流处理平台，因为它在工作中就像是一个可以支撑高吞吐量的管道，数据像水一样流进去，然后另外一端再去读取这些数据我们就可以把Kafka看作是一种 ...
分类：
其他好文 时间：
2020-07-11 13:02:34
阅读次数：
55
1、flume日志收集架构如下 2、解压安装包，修改文件夹名称，配置环境变量 tar -zxvf apache-flume-1.6.0-bin.tar.gz export FLUME_HOME=/soft/flume export PATH=$PATH:$FLUME_HOME/bin 修改conf下 ...
分类：
Web程序 时间：
2020-07-10 18:37:36
阅读次数：
66
C:\ProgramFiles\iMC\server\conf目录下打开qvdm.conf文件，修改其中字段#settingloglevel(DEBUG,INFO,WARNING,ERROR,FATAL)LogLevel=INFO//该处将INFO修改为DEBUG,重启imcapmedm.exe进程，收集完日志，再改回INFO，并重启进程。#settinglogexpire(itsunitisda
分类：
其他好文 时间：
2020-07-06 18:13:22
阅读次数：
75
利用ELK搭建Docker容器化应用日志中心 概述 应用一旦容器化以后，需要考虑的就是如何采集位于Docker容器中的应用程序的打印日志供运维分析。典型的比如 SpringBoot应用的日志 收集。本文即将阐述如何利用ELK日志中心来收集容器化应用程序所产生的日志，并且可以用可视化的方式对日志进行查 ...
分类：
其他好文 时间：
2020-06-30 11:05:35
阅读次数：
50
Logstash简介 Logstash是具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据标准化到选择的目标位置。清除所有数据并使其民主化，以用于各种高级下游分析和可视化用例。 虽然Logstash最初推动了日志收集方面的创新，但其功能远远超出了该用例。任 ...
分类：
其他好文 时间：
2020-06-30 00:51:56
阅读次数：
90
一、概述 1.Flume是Apache提供的开源的、分布式的、可靠的日志收集系统 2.能够有效的收集、聚合、传输大量的日志数据 3.flume有2个版本：flume-og(flume09x)和flume-ng(flume1.x)，flume-og和flume-ng不兼容 二、基本概念 1.Event ...
分类：
Web程序 时间：
2020-06-28 15:19:31
阅读次数：
62
数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
scribe_百度百科 https://baike.baidu.com/item/scribe flume（日志收集系统）_百度百科 https://baike.baidu.com/item/flume/6250098 Kafka（科技术语）_百度百科 https://baike.baidu.com ...
分类：
其他好文 时间：
2020-06-16 20:48:33
阅读次数：
58
