docker-compose安装loki套件(loki+promtail+grafana) loki进行日志聚合处理 类似elk中的es promtail是日志收集,类似elk中的logstash filebeat等,如果是只收集docker容器的日志则可以用loki的docker plugin替代 ...
分类:
其他好文 时间:
2020-11-01 20:42:03
阅读次数:
55
logstash cat /etc/logstash/logstash.yml |grep -v '#'path.data: /data/logstash/datapipeline.ordered: autopath.config: /data/logstash_conf/*.confconfig. ...
分类:
其他好文 时间:
2020-10-19 23:01:41
阅读次数:
24
1.下载logstash https://www.elastic.co/cn/downloads/logstash 2.配置 input { stdin { } jdbc { type => "tb_role" jdbc_connection_string => "jdbc:mysql://192. ...
分类:
数据库 时间:
2020-10-19 22:59:20
阅读次数:
35
第1章概述1.1目的本文档规定了所有维护管理的Linux操作系统的主机应当遵循的操作系统安全性设置标准,本文档旨在指导系统管理人员进行Linux操作系统的安全合规性检查和配置。1.2适用范围本配置标准的使用者包括:服务器管理员、应用管理员、网络安全管理员、运维工程师。本设置标准适用于Linux服务器系统。1.3实施在本标准的执行过程中若有任何疑问或建议,应及时反馈。第2章身份鉴别2.1身份标识唯一
分类:
系统相关 时间:
2020-10-16 11:19:52
阅读次数:
37
1. ELK架构简介 1.1 核心组成 ELK是一套开源免费且功能强大的日志分析管理系统,由Elasticsearch、Logstash、Kibana三部分组成,简称ELK。 ELK可以将系统日志、网站日志、应用系统日志等各种日志进行收集、过滤、清洗,然后进行集中存放并可用于检索、分析。 这三款软件 ...
分类:
其他好文 时间:
2020-09-18 01:22:40
阅读次数:
31
系统版本 centos 7.0 elk:6.7.2 jdk:1.8.0 1.elk结构 filebeat==>redis==>logstash==>es(群集)==>kibana 2.安装es群集 vim /etc/hosts 172.16.206.110 node-1 172.16.206.114 ...
分类:
其他好文 时间:
2020-09-18 00:56:30
阅读次数:
33
ELK是一种日志收集,分析的组合软件。ELK/EFK的组成部分,分别是:elasticsearch,logstash,kibanaelasticsearch(简称es数据库):负责数据的存储,数据的分析,数据的搜索,是基于luncene做的二次开发。(es数据库是非关系型数据库)logstash:负责客户端日志收集工具,替代工具。(filebeat)kibana:负责数据的展示,查询。
分类:
其他好文 时间:
2020-09-17 22:03:38
阅读次数:
37
input { stdin{ } elasticsearch { hosts => ["http://127.0.0.1:9200"] user => "admin" index => "*" password => "admin" #设置为true,将会提取ES文档的元数据信息,例如index、t ...
分类:
其他好文 时间:
2020-09-17 21:46:29
阅读次数:
33
Sqoop 在hadoop和关系型数据库之间转换数据 Flume Flume是一个分布式的高可用的数据收集、聚集和移动的工具。通常用于从其他系统搜集数据,如web服务器产生的日志,通过Flume将日志写入到Hadoop的HDFS中 Canal 数据抽取是 ETL 流程的第一步。我们会将数据从 RDB ...
分类:
其他好文 时间:
2020-09-17 18:33:30
阅读次数:
37