elk日志分析与挖掘深入分析 1 为什么要做日志采集？ 2 挖财自己的日志采集和分析体系应该怎么建？ 2.1 日志的采集 2.2 日志的汇总与过滤 2.3 日志的存储 2.4 日志的分析与查询 3 需要解决哪些技术问题？ 3.1 logstash与kafka的对接 3.2 kafka到elastic ...
分类：
其他好文 时间：
2016-11-30 14:26:09
阅读次数：
397
大纲： 一、简介 二、Logstash 三、Redis 四、Elasticsearch 五、Kinaba 一、简介 1、核心组成 ELK由Elasticsearch、Logstash和Kibana三部分组件组成； Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现 ...
分类：
其他好文 时间：
2016-11-30 13:39:06
阅读次数：
4268
在这里，以两台es集群为例。 es集群健康状况有三种状态，这里我们搭建的es集群，只要两台不同时挂掉，数据不会丢失。 举个例子： 比如说现在集群节点es1位主节点，es2位复制分片节点，默认情况下，两台es都接收logstash传过来的日志，是负载均衡的。 如果es1宕掉，es2会被提升为主节点，只 ...
分类：
其他好文 时间：
2016-11-29 13:36:15
阅读次数：
484
logstash是java应用，依赖JDK，首先需要安装JDK，在安装jdk过程中，logstash-2.3.4使用JDK-1.7版本有bug，使用JDK-1.8版本正常，因此我们安装JDK-1.8版本。 安装JDK 官网地址：http://www.oracle.com/technetwork/ja ...
分类：
其他好文 时间：
2016-11-29 11:34:58
阅读次数：
247
Kibana是一个基于浏览器页面的Elasticsearch前端展示工具。Kibana全部使用HTML语言和Javascript编写的，查询语法是基于Lucene的查询语法。允许布尔运算符、通配符和字段筛选。注意关键字要大写 全文搜索 在搜索栏输入login，会返回所有字段值中包含login的文档 ...
分类：
其他好文 时间：
2016-11-29 09:26:37
阅读次数：
156
ELK日志分析之安装 1.介绍： NRT elasticsearch是一个近似实时的搜索平台，从索引文档到可搜索有些延迟，通常为1秒。 集群 集群就是一个或多个节点存储数据，其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能。集群有一个唯一性标示的名字，默认是e ...
分类：
其他好文 时间：
2016-11-28 23:29:53
阅读次数：
290
在安装插件的过程中，尤其是安装Marvel插件遇到了很多问题，要下载license、Marvel-agent，又要下载安装Kibana 版本需求 Java 7 or later Elasticsearch 2.4.2 Kibana 4.5 Elasticsearch License 2.4.2 pl ...
分类：
其他好文 时间：
2016-11-27 07:31:46
阅读次数：
357
redis作为logstash中的官方broker，既有input插件，还有output插件。 redis input插件 data_type属性： 有三种类型， list －》 BLPOP －－阻塞式列表弹出 channel －》 SUBSCRIBE －－ 指定订阅者 pattern_channe ...
分类：
其他好文 时间：
2016-11-26 20:55:03
阅读次数：
206
input{file{type=>"erp_log"path=>"/var/log/nginx/catalina.out"start_position=>"beginning"codec=>multiline{pattern=>"^%{YEAR}-%{MONTHNUM}-%{MONTHDAY}%{HOUR}:?%{MINUTE}(?::?%{SECOND})"negate=>truewhat=>"previous"}}}output{redis{port=>63..
分类：
其他好文 时间：
2016-11-26 00:27:02
阅读次数：
521
来自官网，版本为4.5 下载rpm包并安装 配置文件位于/opt/kibana/config/ 日志文件位于/var/log/kibana/ 默认连接的是本机elasticsearch，可在配置文件中修改，这里不用修改，直接启动 默认占用5601端口，可通过http://[ip]:5601在浏览器访 ...
分类：
其他好文 时间：
2016-11-25 14:19:22
阅读次数：
131
