Flume：Flume是一个分布式，可依赖的，用于高效率的收集、聚类、移动大量数据的服务。Flume使用基于流数据的简单而且可扩展的架构。由于拥有可调的依赖机制和许多故障恢复机制，Flume是健壮而且容错的。Flume使用简单的可扩展的数据模型，能够用于在线数据分析。 官网：http://flume ...
分类：
Web程序 时间：
2016-06-23 16:05:34
阅读次数：
172
一、syslog-ng说明二、syslog-ng下载安装三、syslog-ng配置文件详细说明四、配置syslog-ng收集操作日志五、使用loganalyzer展示收集日志1.syslog-ng说明syslog-ng应用程序是一个灵活和高度可伸缩的系统日志应用程序创建集中的和可信的日志解决方案的理想选择。syslog-ng的主要..
分类：
其他好文 时间：
2016-06-16 18:14:09
阅读次数：
1221
Logstash是一个具有实时管道的开源数据收集引擎。可以动态地统一不同来源的数据，并将数据归到不同目的地。也是一个管理事件和日志工具。你可以用它来收集日志，分析它们，并将它们储存起来以供以后使用。 Logstash 通常都是和 Kibana 以及 Elasticsearch 一起使用，其实还有很多 ...
分类：
其他好文 时间：
2016-06-13 11:37:16
阅读次数：
298
之前我们讲解了Rsyslog-V5.x版本，因为最新版本v8已经更换配置文件写法，这次把v5.x的设置写成v8.x版本供大家参考，但是v8.x新版还是兼容v5版配置文件。并不是v8.x版才开始使用这种写法，只是我们拿最新版演示。回到V5.x版，点击跳转。#工作目录
$WorkDirectory/var/spool/rsys..
分类：
其他好文 时间：
2016-06-12 15:42:05
阅读次数：
168
今天ELK收集日志的时候，发现收集失败，查找各方面原因，最后在redis日志里面发现报错：[2489]02Jun10:43:42#Errorallocatingresouresfortheclient错误是无法为客户端分配资源，查看redis连接数：#redis-cliinfo|grepconnected
connected_clients:5036
connected_slaves:0客户..
分类：
其他好文 时间：
2016-06-02 20:26:26
阅读次数：
3173
前言：Elk主要就是3个软件的组合，主要是elasticsearch搜索引擎，Logstash是一个日志收集日志，kibana实时分析进行展示。[关于日志搜集的软件，如:scribe,flume,heka,logstash,chukwa,fluentd,当然rsyslogrsyslog-ng都可以搜集。关于日志手机后存储软件，如:HDFS,Cassandramong..
分类：
系统相关 时间：
2016-05-27 14:58:51
阅读次数：
856
架构图 ELK 架构图：其中es 是集群，logstash 是单节点(猜想除非使用nginx对log4j的网络输出分发），kibana是单机（用不着做成集群）。 1.拓扑图 2.logstash 收集日志示意图。 3.带有redis的流程图。 ELK部署 1.三种组件下载地址：https://www ...
分类：
其他好文 时间：
2016-05-17 11:29:18
阅读次数：
461
我们在用Logstash收集日志的时候会碰到日志会错行，这个时候我们需要把错的行归并到上一行，使某条数据完整；也防止因为错行导致其他字段的不正确。
在Logstash-filter插件中，multiline插件可以解决这个问题，举个例子如下：
假如我们的日志形式如下：
2016-04-05 13:39:52.534 1.28.253.193 20160311090433074f5b47c04...
分类：
其他好文 时间：
2016-05-12 18:28:06
阅读次数：
669
【背景】我们要统一收集日志，统一分析，统一在一个平台上搜索过滤日志！在上一篇中已经完成了ELK的搭建，那么该如何将每台客户端的日志集中到ELK平台中呢？【本系统介绍】ELK--192.168.100.10(这个地方要有FQDN创建SSL证书的时候需要配置FQDN，www.elk.com)被收集日志的客户端..
分类：
其他好文 时间：
2016-05-10 23:48:15
阅读次数：
2647
首先说明，各工具的安装就不在这说明了，网上很多，可自行查看。
我们在这里用实例说明各个工具的配置以及最后展示的效果。
假如我们有一批tracklog日志需要用ELK实时展示出来：
一、收集日志，我们使用flume工具
在日志服务器端布置agent发往收集collect，配置如下：
agent（可多个）
agent.sources = s1
agent.channels...
分类：
Web程序 时间：
2016-05-06 16:24:34
阅读次数：
1001
