logstashgrokpatternUSERNAME[a-zA-Z0-9_-]+
USER%{USERNAME}
INT(?:[+-]?(?:[0-9]+))
BASE10NUM(?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))
NUMBER(?:%{BASE10NUM})
BASE16NUM(?<![0-9A-Fa-f])(?:[+-]?(?:0x)?(?:[0-9A-Fa-f]+))
BASE16FLOAT\b(..
分类：
其他好文 时间：
2016-05-06 19:54:54
阅读次数：
265
首先说明，各工具的安装就不在这说明了，网上很多，可自行查看。
我们在这里用实例说明各个工具的配置以及最后展示的效果。
假如我们有一批tracklog日志需要用ELK实时展示出来：
一、收集日志，我们使用flume工具
在日志服务器端布置agent发往收集collect，配置如下：
agent（可多个）
agent.sources = s1
agent.channels...
分类：
Web程序 时间：
2016-05-06 16:24:34
阅读次数：
1001
本文内容 最近 ELK 搭建完成，赶紧着手把认证做啦~要是什么人都能用 head 插件访问，可受不了~ 结果，还真经历了点坎坷~ 0x01 需求 能想到的大概有如下几点： 账号认证（登录）是必须的。解决 ES 匿名访问的问题。head 插件简单易用，可惜不提供认证功能。 要能单点登录就锦上添花了。E... ...
分类：
其他好文 时间：
2016-05-06 00:38:22
阅读次数：
1251
关于守护进程，在此会介绍一下几种： 1.screen 2.supervisord(python) 一：Screen 开始使用Screen 简单来说，Screen是一个可以在多个进程之间多路复用一个物理终端的窗口管理器。Screen中有会话的概念，用户可以在一个screen会话中创建多个screen窗 ...
分类：
系统相关 时间：
2016-05-04 17:08:49
阅读次数：
291
【参考】官网:https://www.elastic.co/downloads参考:http://517sou.net/archives/centos%E4%B8%8B%E4%BD%BF%E7%94%A8elk%E5%A5%97%E4%BB%B6%E6%90%AD%E5%BB%BA%E6%97%A5%E5%BF%97%E5%88%86%E6%9E%90%E5%92%8C%E7%9B%91%E6%8E%A7%E5%B9%B3%E5%8F%B0/http://my.oschina.net/itbl..
分类：
其他好文 时间：
2016-05-03 00:41:47
阅读次数：
303
ELK就是一套完整的日志分析系统 ELK=Logstash+Elasticsearch+Kibana 统一官网https://www.elastic.co/products ELK模块说明 Logstash 作用：用于处理传入的日志，负责收集、过滤和写出日志 Logstash分为三个组件input， ...
分类：
其他好文 时间：
2016-04-29 21:57:50
阅读次数：
215
一：简述
本人之前搭建elk+redis架构收集日志，出现瓶颈，现使用新架构（els+kafka+rsyslog+hadoop-hdfs+zookeeper），解决方案。
二：搭建过程
A.rsyslogd服务
通过对 rsyslog官方文档 查看,得知 rsyslog对 kafka的支持是 v8.7.0版本后才提供的支持.通过 ChangeLog 也可以看出 V...
分类：
其他好文 时间：
2016-04-29 16:11:41
阅读次数：
1097
http://www.tuicool.com/articles/QFvARfr
开源实时日志分析ELK平台部署
版本：elasticsearch-2.3.2
logstash-2.3.2
kibana-4.5.0
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配...
分类：
其他好文 时间：
2016-04-29 15:04:07
阅读次数：
176
input{
file{
type=>"java-err"
path=>"/fsmeeting/tomcat-service/logs/catalina.out"
tags=>"java-err"
codec=>multiline{
pattern=>"^%{TIMESTAMP_ISO8601}"
negate=>true
what=>"previous"
}
}
}
filter{
if[type]=="java-err"{
grok{
match=>{"m..
分类：
其他好文 时间：
2016-04-19 20:27:01
阅读次数：
2759
话说互联网的江湖一点都不风平浪静，这不刚处理完http://fengwan.blog.51cto.com/508652/1757465短信攻击，敌人又卷土重来，而且方法更先进。从上面可以看到敌人通过模拟Referer对我方阵地实施打击，不断耗费我方短信资源。通过对敌人进行画像:分析IP分析X-FORWARD-IP分析设备..
分类：
其他好文 时间：
2016-04-19 20:20:17
阅读次数：
211
