最近在搭建日志收集平台，将linux的部分日志收集到elasticsearch上通过kibana进行搜索展现，基本上是标准的ELK架构，但是agent端复用了已有的flume。在功能测试的时候，是将本地messages日志备份出来对备份的日志进行了切割测试。经过一周测试终于完成了，当时的内心是： 日 ...
分类：
其他好文 时间：
2016-05-13 21:54:37
阅读次数：
229
很多时候我们需要对日志做一个集中式的处理，但是通常情况下这些日志都分布到n台机器上面，导致一个结果就是效率比较低，而ELK平台可以帮助我们解决这么一件事情； ELK下载：https://www.elastic.co/downloads/ 组件说明： 1）Elasticsearch是个开源分布式搜索引 ...
分类：
其他好文 时间：
2016-05-13 12:05:04
阅读次数：
241
一、架构方案如下图： 二、各个组件的安装方案如下： 1）、zookeeper+kafka http://www.cnblogs.com/super-d2/p/4534323.html 2）hbase http://www.cnblogs.com/super-d2/p/4755932.html 3)f ...
分类：
Web程序 时间：
2016-05-13 11:35:01
阅读次数：
1127
举例:a.搜索domainname为search.s.d.pa.com的domainname:search.s.d.pa.com写法或者domainname:"search.s.d.pa.com"b.搜索状态为400的或者200的status:404c.范围值有status:[400TO499]多个条件查找status:500ANDremote_addr:123.125.71.12或者status:500ANDremote_addr:"123.12..
分类：
其他好文 时间：
2016-05-12 00:09:05
阅读次数：
339
一、ELK说明二、架构图三、规划说明四、安装部署nginx+logstash五、安装部署redis六、安装部署logstashserver七、安装部署elasticsearch集群八、安装kibana一、ELK说明ELKStack是Elasticsearch、Logstash、Kibana三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合..
分类：
其他好文 时间：
2016-05-11 20:03:24
阅读次数：
358
【背景】我们要统一收集日志，统一分析，统一在一个平台上搜索过滤日志！在上一篇中已经完成了ELK的搭建，那么该如何将每台客户端的日志集中到ELK平台中呢？【本系统介绍】ELK--192.168.100.10(这个地方要有FQDN创建SSL证书的时候需要配置FQDN，www.elk.com)被收集日志的客户端..
分类：
其他好文 时间：
2016-05-10 23:48:15
阅读次数：
2647
[root@localhostetc]#catplat_interface_info.conf
input{
file{
type=>"234_plat_inter_info_log"
path=>["/opt/log/plat_inter_info.*.log"]
codec=>"json"
}
}
filter{
if[type]=="234_plat_inter_info_log"
{
if[level]=="ERROR"
{
mutate{
add_tag=>"email"
}..
分类：
Web程序 时间：
2016-05-10 11:13:00
阅读次数：
716
最近在搭建ELK平台，kibana是用tar包直接解压缩使用的方式安装的。但是安装完成后遇到一个问题就是如何让kibana后台运行，并且当断开ssh连接后，让能继续运行。后台想到了nohup命令。nohup用法：root@localhost:~#mannohup
NOHUP(1)UserCommandsNOHUP(1)
NAME
nohup-runacomman..
分类：
其他好文 时间：
2016-05-09 11:14:13
阅读次数：
213
logstashgrokpatternUSERNAME[a-zA-Z0-9_-]+
USER%{USERNAME}
INT(?:[+-]?(?:[0-9]+))
BASE10NUM(?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))
NUMBER(?:%{BASE10NUM})
BASE16NUM(?<![0-9A-Fa-f])(?:[+-]?(?:0x)?(?:[0-9A-Fa-f]+))
BASE16FLOAT\b(..
分类：
其他好文 时间：
2016-05-06 19:54:54
阅读次数：
265
首先说明，各工具的安装就不在这说明了，网上很多，可自行查看。
我们在这里用实例说明各个工具的配置以及最后展示的效果。
假如我们有一批tracklog日志需要用ELK实时展示出来：
一、收集日志，我们使用flume工具
在日志服务器端布置agent发往收集collect，配置如下：
agent（可多个）
agent.sources = s1
agent.channels...
分类：
Web程序 时间：
2016-05-06 16:24:34
阅读次数：
1001
