在日常的运维管理活动,日志非常的重要,当发现error时可以从日志了解报错并及时解决。日志分为系统日志,应用日志,和安全日志,经常的分析日志可以了解服务器的硬件状况,性能以及安全,从而采取预防措施及时纠正任务。通常情况下,日志被分散到不同的存储设备上,而企业内部的..
分类:
其他好文 时间:
2016-03-31 19:05:17
阅读次数:
482
最近在使用ELKStack对系统日志进行分析,在网上也有看到有使用logstash的案例,但是发现不能正常解析出来,于是重新花时间去进行正则计算,主要代码如下:input{
file{
type=>"mysql-slow"
path=>"/var/lib/mysql/slow.log"
start_position=>beginning
sincedb_write_i..
分类:
数据库 时间:
2016-03-31 18:58:35
阅读次数:
248
定时采集bigdesk中的Elasticsearch性能参数,并保存到数据库或ELK,以便于进行长期监控。 基于python脚本实现,脚本如下: #coding=gbkimport httplibimport jsonimport timeimport es_savelogimport Config ...
分类:
其他好文 时间:
2016-03-31 16:53:51
阅读次数:
240
1.默认,logstash对日志文件的选取是以单行为单位的;但像log4j这种输出日志经常会是以时间头开始的多行日志; 2.显示多行,需要配置logstash的config; input { file { type =>"cbb-sh-robot" path => ["/home/weblogic/... ...
分类:
其他好文 时间:
2016-03-31 16:38:16
阅读次数:
211
MySQL存储日志并使用Loganalyzer作为前端展示为什么要使用日志在生产环境中我们可能需要一个较为完整的日志系统来查看运行中主机服务的状态和所作出的操作,我们可以在较大型的网络架构中使用ELK来实现对日志的收集、检索、前端显示,但是中小型架构中使用rsyslog足以对所有服..
分类:
数据库 时间:
2016-03-31 00:22:35
阅读次数:
363
最近利用ELK做一套日志分析平台,但kibana并不能满足需求,因此需要对kibana做二次开发,搭建windows环境时遇到的各种问题,查阅了比较多的资料,发现教程都比较零散,最后通过几天的摸索,将问题最终解决,下面做一个汇总: 1、首先就是kibana4.4.2的nodejs必须是4.3.2的版 ...
分类:
Web程序 时间:
2016-03-30 19:26:22
阅读次数:
718
1.Haproxy配置日志规则在/etc/haproxy/haproxy.conf的frontend下增加optionhttplog
optionlogasap
logLogServerIPlocal5
capturerequestheaderHostlen40
capturerequestheaderX-Forwarded-Forlen50
#capturerequestheaderAccept-Languagelen50
capturerequestheaderRefererlen..
分类:
其他好文 时间:
2016-03-26 20:32:39
阅读次数:
234
最近简单了解了关于ELK的知识: ELK 由ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成 官方网站:https://www.elastic.co/products | Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,
分类:
其他好文 时间:
2016-03-22 06:20:54
阅读次数:
203
一、检查环境#logstash的运行需要java支持
[root@elk-search1~]#java-version
javaversion"1.8.0_45"
Java(TM)SERuntimeEnvironment(build1.8.0_45-b14)
JavaHotSpot(TM)64-BitServerVM(build25.45-b02,mixedmode)二、安装包直接解压就能运行[root@elk-search1~]#tarxflogstash..
分类:
其他好文 时间:
2016-03-21 16:45:31
阅读次数:
171