文本是在window下搭建单机版的ELK,ES用到的版本是2.4.0(为什么用这个版本,很大一个原因是能直接用自带插件工具去下载es_head插件,非常方便),logstash用的版本是7.6.2(亲自踩坑2.4.0,足足花了一个早上,发现用2.4.0报缺少log4j和无法读取日志文件),kiban ...
1、docker环境 部署2、jenkins自动化部署3、ELK(ES+Logstash+kibana)+Kafka4、ES搜索 1、logstash同步数据库数据,通过update>最近一次修改时间来同步数据库到ES 问题:不是实时的,并且容易丢失数据 2、可以使用消息队列 可以实时的5、myca ...
分类:
其他好文 时间:
2019-09-23 12:06:54
阅读次数:
69
当服务器数量以及应用达到一定的数量后,操作系统日志以及应用软件日志数量庞大,遇到问题时日志是第一手资料。平时用的sed、grep、awk已经难以满足我们的需求。随着互联网技术的发展,好多大型互联网公司研发了不同的日志分析产品,例如开源的Graylog、ELK还有Splunk等,同时S..
分类:
其他好文 时间:
2017-11-03 15:30:02
阅读次数:
209
ES老集群用的2.4.1版本,跑的比较好就一直没动,最近看资料ES5.X已经稳定,并且性能有较大提升,心里就发痒了,但由于业务要保持高可以用的属性,就得想一个平滑升级的方案,最后想到了多实例过度的办法,5.X版本网上介绍配置变化较大,也做好了踩坑准备,确定好要升级后,立刻..
分类:
其他好文 时间:
2017-02-27 22:02:49
阅读次数:
1671
我们用ELK做日志分析系统,Elasticsearch1.7.3运行了近一年,最近已经将一个集群升级到ES5.1.1,但是遇到问题比较多。所以将另一个集群升级到社区推荐比较稳定的2.4.2。为了便于升级管理,操作都是用ansible来统一执行。一:停止monit守护进程#集群的所有logstash、es进程都是..
分类:
其他好文 时间:
2016-12-26 19:22:50
阅读次数:
342