随着机房内的服务器和网络设备增加,日志管理和查询就成了让系统管理员头疼的事。系统管理员遇到的常见问题如下:1、日常维护过程中不可能登录到每一台服务器和设备上去查看日志;2、网络设备上的存储空间有限,不可能存储日期太长的日志,而系统出现问题又有可能是很久以前发..
分类:
Windows程序 时间:
2016-08-05 12:10:15
阅读次数:
1600
rsyslog是一个开源工具,被广泛用于Linux系统以通过TCP/UDP协议转发或接收日志消息。rsyslog守护进程可以被配置成两种环境,一种是配置成日志收集服务器,rsyslog进程可以从网络中收集其它主机上的日志数据,这些主机会将日志配置为发送到另外的远程服务器。rsyslog的另外一个..
分类:
其他好文 时间:
2016-08-05 12:08:50
阅读次数:
169
单个进程 logstash 可以实现对数据的读取、解析和输出处理。但是在生产环境中,从每台应用服务器运行 logstash 进程并将数据直接发送到 Elasticsearch 里,显然不是第一选择:第一,过多的客户端连接对 Elasticsearch 是一种额外的压力;第二,网络抖动会影响到 log ...
分类:
其他好文 时间:
2016-08-04 13:10:28
阅读次数:
299
需要安装GeoIP,ncurses,glib2,一句搞定yum-yinstallglib2glib2-develncursesncurses-develgeoIPgeoIP-devel如果你是centos,使用yum:yuminstallgoaccess3vim/etc/goaccess.conf添加一下内容:time-format%Tdate-format%d/%b/%Ylog-format%h%^[%d:%t%^]“%r”%s%b“%R”“%u”4..
分类:
数据库 时间:
2016-08-03 15:45:32
阅读次数:
249
A,首先说说ELK是啥, ELK是ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。Logstash是数据源,ElasticSearch是分析数据的,Kiabana是展示数据用的 B,开始搞 1,安装 Logstash 依赖包 JDK JDK 的安装方式比较简单 ...
分类:
其他好文 时间:
2016-08-02 18:51:48
阅读次数:
176
环境:客户端和服务端都需要安装rsyslog服务rsyslogserver端cd/etc/rsyslog.d/
catserver.conf
$ModLoadimtcp
$InputTCPServerRun514
vim/etc/rsyslog.conf
local4.*/var/log/history.logrsyslogclient端cat/etc/rsyslog.d/client.conf
local4.*@@server端ip:514cat/etc/profi..
分类:
系统相关 时间:
2016-08-01 23:26:02
阅读次数:
297
环境:客户端和服务端都需要安装rsyslog服务 rsyslog server端 rsyslog client端 这里的网卡名字要根据实际情况来修改 重启服务 service rsyslog restart ...
分类:
系统相关 时间:
2016-08-01 17:23:54
阅读次数:
192
Logstash配置文档#vimuseTime.confinput{stdin{}}filter{grok{match=>{"message"=>
"\s+(?<API>调用.*(用时|异常)).*useTime=(?<useTime>\d+?)$"}}}output{stdout{codec=>rubydebug}}过滤正则表达示\s+(?<API>调用.*(用时|异常))
-->调用gz(广州..
分类:
其他好文 时间:
2016-07-31 00:23:20
阅读次数:
2407
Nlog、elasticsearch、Kibana以及logstash 前言 最近在做文档管理中,需要记录每个管理员以及用户在使用过程中的所有操作记录,本来是通过EF直接将操作数据记录在数据库中,在查询的时候直接从数据库中读取,但是这样太蠢了,于是在网上找到了logstash这NB的工具,和大家分享 ...
分类:
其他好文 时间:
2016-07-30 22:28:00
阅读次数:
127
一.ELK是什么?1.1ELK由来ELK是elasticsearch,logstash,kibana这三个工具的简称1.2ELK三个组件的介绍Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。Logstash是一个完..
分类:
其他好文 时间:
2016-07-29 23:08:16
阅读次数:
1296