检测logstash的conf脚本
check_logstash_serve.sh
#!bin/bash
# check logstash running ? if not,start it
# example: sh check_logstash_serve.sh flumelck /opt/modules/logstash/exec_sh/lck/lck_start.sh
#传入脚本名
...
分类：
其他好文 时间：
2016-05-07 10:38:25
阅读次数：
475
有时候我们需要对一些服务器日志进行分析，并对其中错误的日志进行报警，在这里我们采用logstash来收集这些日志，和采用自己开发的邮件发送系统来发送错误日志数据。
例如我们有几个文件需要监控（BI日志）
我们可以通过配置logstash来收集这些文件日志
input{
file{
path=> "/diskb/bidir/smartbi...
分类：
其他好文 时间：
2016-05-07 07:14:34
阅读次数：
638
logstashgrokpatternUSERNAME[a-zA-Z0-9_-]+
USER%{USERNAME}
INT(?:[+-]?(?:[0-9]+))
BASE10NUM(?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))
NUMBER(?:%{BASE10NUM})
BASE16NUM(?<![0-9A-Fa-f])(?:[+-]?(?:0x)?(?:[0-9A-Fa-f]+))
BASE16FLOAT\b(..
分类：
其他好文 时间：
2016-05-06 19:54:54
阅读次数：
265
首先说明，各工具的安装就不在这说明了，网上很多，可自行查看。
我们在这里用实例说明各个工具的配置以及最后展示的效果。
假如我们有一批tracklog日志需要用ELK实时展示出来：
一、收集日志，我们使用flume工具
在日志服务器端布置agent发往收集collect，配置如下：
agent（可多个）
agent.sources = s1
agent.channels...
分类：
Web程序 时间：
2016-05-06 16:24:34
阅读次数：
1001
Linux 之 rsyslog 系统日志转发 一、rsyslog 介绍 ryslog 是一个快速处理系统日志的程序，提供了高性能、安全功能和模块化设计。rsyslog 是syslog 的升级版，它将多种来源输入输出转换结果到目的地，据官网介绍，现在可以处理100万条信息。 特性：1.多线程 2.支持 ...
分类：
系统相关 时间：
2016-05-06 00:29:13
阅读次数：
287
huaweiswitch：#指定发送消息基本，表示从0-7都发送info-centersourcedefaultchannel2logleveldebugging#指定从哪个接口发送info-centerloghostsourceVlanif1#指定远程syslog服务器ipinfo-centerloghostx.x.x.xCentosServer：vim/etc/rsyslog.conf#启用udp514端口监听。$ModLoa..
分类：
其他好文 时间：
2016-05-05 22:56:26
阅读次数：
13280
一、rsyslog 介绍 ryslog 是一个快速处理系统日志的程序，提供了高性能、安全功能和模块化设计。rsyslog 是syslog 的升级版，它将多种来源输入输出转换结果到目的地，据官网介绍，现在可以处理100万条信息。 特性：1.多线程 2.支持加密协议：ssl，tls，relp 3.mys ...
分类：
系统相关 时间：
2016-05-05 22:14:10
阅读次数：
362
一、简介：随着机房内的服务器和网络设备增加，日志管理和查询就成了让系统管理员头疼的事。系统管理员遇到的常见问题如下：1、日常维护过程中不可能登录到每一台服务器和设备上去查看日志；2、网络设备上的存储空间有限，不可能存储日期太长的日志，而系统出现问题又有可能是..
分类：
Windows程序 时间：
2016-05-05 07:05:58
阅读次数：
1847
背景：目前业务中有个数据库数据大道3亿左右。如果直接从数据库进行查询，等待时间超过15分钟，用户很多时候想查看数据，只能写SQL在数据库中直接查询喝几杯茶后，结果还没出来。用户看到我们项目中使用到ES集群，于是希望将数据库中的数据同步到ES集群中。 软件版本：logstash-2.2.2 ，Elas ...
分类：
数据库 时间：
2016-05-03 17:51:33
阅读次数：
4121
nginx泡得太久，日志就越来越大，有必要对其切割下，也便于按天统计访问量神马的。没啥难度，短短几行的脚本即可#!/bin/bash
#Description:rotatenginxaccesslogs
NGX_PID=`cat/usr/local/nginx/logs/nginx.pid`
LOGS_DIR="/home/wwwlogs"
WWW_LOG_NAME="www.demo.com.log"
..
分类：
其他好文 时间：
2016-04-30 18:24:42
阅读次数：
199
