公司ELK系统目前的设置是每月自动将日志信息记录至新的索引中，将日志数据按月分索引保存，在扩展的ELK架构中，利Logstash对接rabbitmq，获取日志消息，自动持久化至Elasticsearch。而Elasticsearch存在一个关键问题就是索引的设置及字段的属性指定，最常见的问题就是，某 ...
分类：
其他好文 时间：
2016-12-05 16:56:59
阅读次数：
233
上面的两张图是elk的一个架构 下面是对logstash分析：如下图 可以看出 logstash的一个角色shipper，(是通过配置文件来决定logstash是shipper还是indexer)注意:logstash共有两个角色一个是shipper,另一个是indexer shipper:是日志收 ...
分类：
其他好文 时间：
2016-12-04 19:35:02
阅读次数：
183
http://yanliu.org/2015/08/19/ELK-redis%E6%90%AD%E5%BB%BAnginx%E6%97%A5%E5%BF%97%E5%88%86%E6%9E%90%E5%B9%B3%E5%8F%B0/ 1，安装jdk 下载地址：http://www.oracle.co ...
分类：
其他好文 时间：
2016-12-03 23:53:52
阅读次数：
286
Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）kibana也是一个开..
分类：
其他好文 时间：
2016-12-03 02:39:30
阅读次数：
337
环境：ubuntu 14.04 lts http://supervisord.org/liunx 下有很多守护进程的工具，如 nohup，screen，supervisor 等，supervisor 是用Python开发的进程管理程序，能将一个普通的命令行进程变为后台daemon，异常退出时能自动重 ...
分类：
其他好文 时间：
2016-12-02 07:48:14
阅读次数：
220
ElasticSearch存储和搜索LogStash对日志收集Kibana展示
分类：
其他好文 时间：
2016-11-30 23:20:34
阅读次数：
195
看教程安装ELK时，发现了supervisord这个简单好用的进程管理工具，他支持web和文本两种方式，下面我们就来说一说具体的使用。更加详细的配置文件说明大家可以自行百度。#安装#yum-yinstallpython-setuptools#安装easy_install这个命令的软件包
#easy_installsupervisor#安装sup..
分类：
系统相关 时间：
2016-11-30 17:55:04
阅读次数：
348
使用 docker 搭建 ELK 非常简单 docker run --name myes -d -p 9200:9200 -p 9300:9300 elasticsearch 运行 elasticsearch 绑定端口 docker run --name mykibana -e ELASTICSEA ...
本文介绍了如何使用成熟的经典架构ELK（即Elastic search，Logstash和Kibana）构建分布式日志监控系统，很多公司采用该架构构建分布式日志系统，包括新浪微博，freewheel，畅捷通等。 背景日志，对每个系统来说，都是很重要，又很容易被忽视的部分。日志里记录了程序执行的关键信 ...
分类：
其他好文 时间：
2016-11-30 14:35:05
阅读次数：
247
elk日志分析与挖掘深入分析 1 为什么要做日志采集？ 2 挖财自己的日志采集和分析体系应该怎么建？ 2.1 日志的采集 2.2 日志的汇总与过滤 2.3 日志的存储 2.4 日志的分析与查询 3 需要解决哪些技术问题？ 3.1 logstash与kafka的对接 3.2 kafka到elastic ...
分类：
其他好文 时间：
2016-11-30 14:26:09
阅读次数：
397
