0、题记日志分析是ELK最常用、最核心业务场景之一。如果你正在使用ElasticStack并且正尝试将自定义Logstash日志映射到Elasticsearch，那么这篇文章适合你。Logstash写入ES之前的中间数据处理过程一般叫做：数据ETL或者数据清洗。本文重点介绍数据清洗环节的非结构数据转化为结构化数据的——Grok实现。1、认知前提老生常谈，夯实基础认知。ELKStack是三个开源项目
分类：
其他好文 时间：
2020-07-31 01:06:57
阅读次数：
77
0、问题引出经群讨论，建议从以下几个方面展开，大家有好的想法，也欢迎留言交流。1、可视化展示ELK效果如果条件允许，demo的内容是：通过logstash同步日志或数据库（oracle、mysql）表的数据到Elasticsearch，然后通过kibana进行可视化。1通过Canvas对数据进行可视化布局与展现，可以实现非常酷炫的大屏展示效果。2展示实时数据的数据量。3展示你定的几个维度的数据信息
分类：
其他好文 时间：
2020-07-31 01:05:26
阅读次数：
101
import pytz, time from datetime import datetime # 将datetime转换成纪元时间 # @param dt datetime时间 # @param format 时间格式 # @return 纪元时间 def __unix_time(dt, form ...
分类：
编程语言 时间：
2020-07-30 18:21:19
阅读次数：
102
import datetime import time import json import hashlib import base64 import requests import pandas import browsercookie from collections import Counte ...
分类：
编程语言 时间：
2020-07-29 09:54:19
阅读次数：
69
现在的logstash版本，插件都是自带的，所以不需要安装ruby和logstash，如果需要的插件没有在安装 安装配置Ruby 我的CentOS的版本比较低，是CentOS6.6的，直接通过yum安装的Ruby的版本比较低，导致安装的时候会出现很多问题（网上的很多解决方案写的很高档，但是都没有解决 ...
分类：
其他好文 时间：
2020-07-28 22:50:30
阅读次数：
105
安装步骤(6.8.5使用x-pack ssl方式) 1.1 环境部署 数据库部署 节点 ip 角色 Host01 192.168.1.134 Host02 192.168.1.135 Host03 192.168.1.85 1.2 安装java 安装java，确保版本在1.8以上 [root@loc ...
分类：
其他好文 时间：
2020-07-28 22:19:56
阅读次数：
202
# 查看时区 show variables like '%time_zone%'; # 设置全局 set global time_zone='+8:00'; # 设置当前会话 set time_zone='+8:00'; # 立即生效 flush privileges; UTC是协调世界时(Univ ...
分类：
数据库 时间：
2020-07-28 14:43:56
阅读次数：
146
配置日志收集系统 ELK需求背景：业务发展越来越庞大，服务器越来越多各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志开发人员排查问题，需要到服务器上查日志，不方便运营人员需要一些数据，需要我们运维到服务器上分析日志为什么要用到ELK：1.一般我们需要进行日志分析场景：直接 ...
分类：
其他好文 时间：
2020-07-27 15:45:28
阅读次数：
63
1.创建FBDA管理员用户账号(后续用此用户管理) CREATE USER FBDA_ADMIN IDENTIFIED BY "123456" DEFAULT TABLESPACE MY_UD TEMPORARY TABLESPACE TEMP_GP; GRANT DBA to FBDA_ADMIN ...
分类：
数据库 时间：
2020-07-27 09:32:15
阅读次数：
120
input { stdin { } jdbc { # mysql 数据库链接 jdbc_connection_string => "jdbc:mysql:localhost/database?characterEncoding=utf8" # 用户名和密码 jdbc_user => "xxx" jd ...
分类：
其他好文 时间：
2020-07-26 19:44:44
阅读次数：
109
