最近在做日志分析这块儿,要使用 Logstash+Elasticsearch+Kibana 实现日志的导入、过滤及可视化管理,官方文档写的不够详细,网上的文章大多要么是针对Linux系统的用法,要么就是抄袭别人的配置大都没法运行。费了很大劲才搞定了这仨东西,写一篇用法心得,废话不多说,进入主题。
首先,你的电脑上要装Java 的JDK环境,要使用 Logstash+Elastic...
1、 概述Kafka是Linkedin于2010年12月份开源的消息系统,它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见,这些数据包括网站的pv、用户访问了什么内容,搜索了什么内容等。 这些数据通常以日志的形式记录下来,然后每隔一段时间进行一次统计处理。传统的日志分析系统提供...
分类:
其他好文 时间:
2015-07-07 19:16:09
阅读次数:
169
日志分析软件 seci-log 1.08发布,snmp trap v2c和v3的支持。上篇文章http://www.oschina.net/news/63834/seci-log-1-07?,有兴趣可以了解一下。 ? ? ? ?SNMP Trap 是一种标准的报告机制,广泛应...
分类:
其他好文 时间:
2015-07-07 11:15:27
阅读次数:
135
日志分析软件 seci-log 1.07发布,增加了资产,端口扫描,并把发现的资产自动添加到资产库中,支持远程日志采集分析。上篇文章http://www.oschina.net/news/63425/seci-log-1-06,有兴趣可以了解一下...
分类:
其他好文 时间:
2015-07-01 20:45:24
阅读次数:
243
package com.doctor.logbackextend;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties;import kafka.consumer...
分类:
Web程序 时间:
2015-07-01 20:32:42
阅读次数:
174
【描述】Logwatch是使用Perl开发的一个日志分析工具Logwatch能够对Linux的日志文件进行分析,并自动发送mail给相关处理人员,可定制需求Logwatch的mail功能是借助宿主系统自带的mailserver发邮件的,如sendmail,postfix,Qmail等【配置】因为系统已经默认支持该服务,只要简单..
分类:
系统相关 时间:
2015-07-01 18:42:14
阅读次数:
150
JITwatch是Java HotSpot JIT的日志分析器,我们可以通过它来了解Java HotSpot JIT的行为。本文主要讲它的安装,步骤如下:
(1)下载JITwatch的jar包:
wget https://adopt-openjdk.ci.cloudbees.com/job/jitwatch/jdk=JDK_1.7/ws/jitwatch-1.0.0-SNAPSHOT-JDK_...
分类:
系统相关 时间:
2015-06-30 18:24:08
阅读次数:
685
原文地址:http://blog.csdn.net/downmoon/article/details/4509513日志分析,特别是IIS日志,一般人都会想到LogParser工具,的确很强。但是命令行的操作界面令很多非专业的管理人员望而生畏,现在好了,有一个可视化的LogParser的UI工具可以...
分类:
其他好文 时间:
2015-06-28 16:53:23
阅读次数:
2767
python正则表达式的例子
日志分析时,假设给定的字符串:
char str = “10.10.1.1 [2015/04/22 +0800] /ab/cd/?test0=123&test2=234 xxxx”; 要从中获取2015/04/22、/ab/cd/和234等值。
str = “10.10.1.1 [2015/04/22 +0800] /ab/cd/?test0=12...
分类:
编程语言 时间:
2015-06-24 13:02:21
阅读次数:
149
例行性工作:系统在某个时间点会自动进行的工作只执行一次就结束调度:at,服务为atd循环执行的工作调度:crontab,服务为crond常见例行性工作日志轮替(logrotate)日志分析(logwatch)更新数据库删除临时文件(tmpwatch)网络有关服务检查at:执行一次的工作调度1:生成工作..
分类:
其他好文 时间:
2015-06-23 16:02:50
阅读次数:
162