日志主要包括系统日志、应用程序日志和安全日志等。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及故障发生的原因。分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误，因此日志的重要性不言而喻。 但是，在系统分布式后，日志通常被分散的储存不同的设备上。比如当系统 ...
logstash是可以根据日志级别，日志类型进行报警通知的。 这次精简教程，排除filebeat自带的#include_lines: ['^ERR', '^WARN']写法，直接使用logstash报警。 步骤一、安装logstash 方法1 去官网下载rpm包，官网地址：https://www.e ...
分类：
其他好文 时间：
2020-06-30 20:27:29
阅读次数：
82
利用ELK搭建Docker容器化应用日志中心 概述 应用一旦容器化以后，需要考虑的就是如何采集位于Docker容器中的应用程序的打印日志供运维分析。典型的比如 SpringBoot应用的日志 收集。本文即将阐述如何利用ELK日志中心来收集容器化应用程序所产生的日志，并且可以用可视化的方式对日志进行查 ...
分类：
其他好文 时间：
2020-06-30 11:05:35
阅读次数：
50
Logstash简介 Logstash是具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据标准化到选择的目标位置。清除所有数据并使其民主化，以用于各种高级下游分析和可视化用例。 虽然Logstash最初推动了日志收集方面的创新，但其功能远远超出了该用例。任 ...
分类：
其他好文 时间：
2020-06-30 00:51:56
阅读次数：
90
搭建过程 1、Elasticsearch集群搭建 2、Cerebro插件安装 tar -zxvf cerebro-0.9.1.tgz 解压cerebro压缩包 配置cerebro文件夹下 application.conf 配置集群的地址 ./cerebro -Dhttp.port=8080 启动ce ...
分类：
其他好文 时间：
2020-06-29 15:43:43
阅读次数：
237
因elasticsearch 集群中有需要需迁移，从A集环境迁移到B集群中，数据量不小。 网上搜索找到几种方案，试了下这种。 0.安装nodejs（如果已安装请忽略）执行 yum install -y nodejs 1.升级nodejs执行 npm install -g n n latest 2.安 ...
分类：
其他好文 时间：
2020-06-29 13:04:44
阅读次数：
66
1.概述 logstash是一个日志转化系统，用户通过定义一个input，filter，和一个output配置来完成日志的收集和存储工作。 2.数据类型 bool debug => true bytes my_bytes => "113" # 113 bytes string host => "ho ...
分类：
其他好文 时间：
2020-06-29 00:27:33
阅读次数：
65
安装环境系统 :centos7软件信息:lasticsearch-6.6.2.rpmjdk-8u131-linux-x64_.rpmkibana-6.6.2-x86_64.rpmlogstash-6.6.0.rpm提醒信息请提前写配置文件,并保证配置文件与脚本处于同一目录内以及四个安装包脚本代码#!... ...
分类：
系统相关 时间：
2020-06-28 22:22:58
阅读次数：
99
因日志产生多了，或者数据多了，导致硬盘满了，没及时清理。 elasticsearch 在程序连接后，提示无法连接问题。 解决： 1、清理掉多余日志。或文件信息。 2、修改索引，让其能够重新写入。 其中： 索引名称 china_index 用户名密码 ，没有的情况下可以不写 -u elastic:el ...
需求：采集8类日志数据，并且进入es展示： 方案制定：目前数据采集通用flume+kafka模式，所以采用原有模式，一类服务进入一个topic，然后通过logstash进行数据清洗，最后进入es进行展示。 flume采用tadir 读取数据源，memory 进行缓存，kafka进行sink a1.s ...
分类：
Web程序 时间：
2020-06-26 22:29:32
阅读次数：
81
