说明:本文只是对相应的功能进行简介，并不会具体介绍部署方案，因为所有的包都是使用的tar.gz格式解压直接可用的，如果有什么不懂的地方或是本人有说错的地方，欢迎大家提问和质疑，也欢迎大家一起交流学习。环境：OS:ubuntu14.0Kernel:3.13.0-24-genericlogstash:1.5.1elastic..
分类：
其他好文 时间：
2015-07-08 14:52:19
阅读次数：
187
最近在做日志分析这块儿，要使用 Logstash+Elasticsearch+Kibana 实现日志的导入、过滤及可视化管理，官方文档写的不够详细，网上的文章大多要么是针对Linux系统的用法，要么就是抄袭别人的配置大都没法运行。费了很大劲才搞定了这仨东西，写一篇用法心得，废话不多说，进入主题。
首先，你的电脑上要装Java 的JDK环境，要使用 Logstash+Elastic...
今天遇到一个很奇怪的问题：不管在nginx.conf里面打开什么格式的日志格式，在www.conf里面都是不知道的日志格式。具体如下：nginx.confincludevhost/*.conf;log_formatmain‘$remote_addr-$remote_user[$time_local]‘‘"$request"$status$body_bytes_sent"$http_referer"‘‘"$http..
分类：
数据库 时间：
2015-06-30 18:47:58
阅读次数：
257
介绍
这套系统，logstash负责收集处理日志文件内容存储到elasticsearch搜索引擎数据库中。kibana负责查询elasticsearch并在web中展示。
logstash收集进程收获日志文件内容后，先输出到redis中缓存，另一logstash处理进程从redis中读出并转存到elasticsearch中，以解决读快写慢速度不一致问题。...
分类：
其他好文 时间：
2015-06-30 12:55:52
阅读次数：
204
Linux上通常可以通过rsyslog来实现系统日志的集中管理，这种情况下通常会有一个日志服务器，然后每个机器配置自己日志通过rsyslog来写到远程的日志服务器上。这里假定有两台服务器，一台作为系统日志的服务器（比如机器名logmaster），另一台作为日志的客户端（比如机器名logclient）日志服务器配置首先修改log master机器上的/etc/rsyslog.conf文件，将其中下面四...
分类：
系统相关 时间：
2015-06-28 15:37:33
阅读次数：
196
Nginx日志管理和切割一、日志分类Nginx日志主要分为两种，访问日志和错误日志。两种日志可以在http和server模块中配置，nginx有一个非常灵活的日志记录模式。每个级别的配置可以有各自独立的访问日志。日志格式通过log_format命令来定义1、访问日志访问日志主要记录客户端访问N..
分类：
其他好文 时间：
2015-06-27 00:07:21
阅读次数：
228
配置OSSECSYSLOG输出（所有agent）编辑ossec.conf文件（默认为/var/ossec/etc/ossec.conf）在ossec.conf中添加下列内容（10.0.0.1为接收syslog的服务器）<syslog_output>
<server>10.0.0.1</server>
<port>9000</port>
<format>default<..
分类：
其他好文 时间：
2015-06-26 13:10:13
阅读次数：
300
背景介绍：默认下的Haproxy配置是不会生成日志文件的，而无运行日志，无法确定系统运行是否流畅，无法提起预判可能发生的故障创建Haproxy日志文件的步骤如下vi /etc/rsyslog.conf取消以下2行的注释：$ModLoad imudp$UDPServerRun 514并添加如下一行配置...
分类：
其他好文 时间：
2015-06-25 22:41:28
阅读次数：
396
之前我是在bashrc中添加了一句，让系统操作日志时向rsyslog发送一份内容，现在只要在发送的时候，自己再获取下当前的远程登录IP加进去就可以，像这样/etc/bashrc1 sshClientIP=`w | tail -n +3 | awk 'BEGIN {ip="local"}{if ($5...
分类：
系统相关 时间：
2015-06-25 19:15:26
阅读次数：
224
使用logstash的时候，为了更细致的切割日志，会写一些正则表达式。 使用方法 input { file { type => "billin" path => "/data/logs/product/resul...
分类：
其他好文 时间：
2015-06-24 23:53:26
阅读次数：
6122
