首先: ELK 是 Elasticsearch、Logstash、Kibana开源软件的集合,对外是作为一个日志管理系统的开源方案,它可以从任何来源、任何格式进行日志搜索、分析与可视化展示。 Logstash:日志收集工具,可以从本地磁盘,网络服务(自己监听端口,接受用户日志),消息队列中收集各种各 ...
分类:
编程语言 时间:
2021-07-12 18:25:34
阅读次数:
0
分析nginx日志 GoAccess的多种展示方式 goaccess有多种数据可视化的方式,分别为: 命令行输出格式化数据 利用access.log生成静态的可视化数据 生成实时可视化数据 注意,如果是编译安装且选择了 –enable-geoip=mmdb的话需要编辑配置文件,并在使用命令的时候带上 ...
分类:
数据库 时间:
2021-07-09 17:55:46
阅读次数:
0
方案说明 canal是阿里云开源的解析binlog组件,同步到ES需要deployer和adapter两部分: deployer解析MySQL binlog,adapter将数据写入到ES 优点 开源成熟稳定 简单易用 缺点 不支持全量数据初始化 部署 logstash进行全量 /etc/hosts ...
分类:
数据库 时间:
2021-06-28 17:36:08
阅读次数:
0
一、Logstash Logstash诞生于2009年8月,2013年被ElasticSearch公司收购。Logstash是一个分布式日志收集框架,开发语言是JRuby,经常与ElasticSearch,Kibana配合使用组成著名的ELK技术栈,所谓ELK就是ElasticSearch、Logs ...
分类:
其他好文 时间:
2021-06-10 17:43:01
阅读次数:
0
要谈ELK的应用,就不得不谈ELK架构。下面介绍几种工程项目中最常用的架构,并讨论四种架构所适合的场景。当然,在实际场景选择架构时,只要能满足当前需求就好,同时现有架构也要有一定的可预见性,为架构的演进预留一定的扩展性。 1. 简单模式(logstash+elasticsearch+kibana) ...
分类:
其他好文 时间:
2021-06-03 17:53:59
阅读次数:
0
超过最大分片引起的,在es机器上执行:curl -XPUT -H "Content-Type:application/json" -d '{"persistent":{"cluster":{"max_shards_per_node":10000}}}' 'http://es-host:9200/_c ...
分类:
其他好文 时间:
2021-05-25 17:41:51
阅读次数:
0
#1. 安装依赖 yum install glib2 glib2-devel GeoIP-devel ncurses-devel zlib zlib-devel -y wget https://github.com/maxmind/geoip-api-c/releases/download/v1.6 ...
分类:
其他好文 时间:
2021-05-04 15:25:34
阅读次数:
0
https://github.com/maxmind/libmaxminddb ubuntu sudo add-apt-repository ppa:maxmind/ppa sudo apt update sudo apt install libmaxminddb0 libmaxminddb-dev ...
分类:
数据库 时间:
2021-04-30 11:55:10
阅读次数:
0
2021-04-21T12:36:52.697398000Z [2021-04-21T12:36:52,696][WARN ][logstash.licensechecker.licensereader] Attempted to resurrect connection to dead ES in ...
分类:
其他好文 时间:
2021-04-22 16:14:06
阅读次数:
0
1.1 Elasticsearch 是什么 The Elastic Stack, 包括 Elasticsearch、Kibana、Beats 和 Logstash(也称为 ELK Stack)。能够安全可靠地获取任何来源、任何格式的数据,然后实时地对数据进行搜索、分析和可视化。Elaticsearc ...
分类:
其他好文 时间:
2021-04-19 15:27:46
阅读次数:
0