logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。 首先将数据传给logstash，它将数据进行过滤和格式化（转成JSON格式），然后传给E ...
分类：
其他好文 时间：
2016-09-27 15:07:01
阅读次数：
219
elk整体架构图： 一、logstash indexer 配置文件： 注意： 主要是在output插件es部分添加一个index，创建一个索引类型（这也是indexer的名字的来源） input拆件是为了测试才改成标准输入 二、启动es，kibana，logstash indexer 在indexe ...
分类：
其他好文 时间：
2016-09-24 13:33:33
阅读次数：
622
初探ELK-以收集nginx日志为例示范搭建一个ELK环境的基本步骤2016/9/22
一、环境
1、RPM
1）收集rpm包
wgethttps://download.elastic.co/logstash/logstash/packages/centos/logstash-2.4.0.noarch.rpm
wgethttps://download.elastic.co/elasticsearch/release/org/elasticsearc..
分类：
其他好文 时间：
2016-09-23 15:20:17
阅读次数：
244
一、简介1.ELK介绍ELKStack是Elasticsearch、Logstash、Kibana三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于Elastic.co公司名下，故有此简称。ELKStack在最近两年迅速崛起，成为机器数据分析，或者说实时日志处理领域，开源界的第一选..
分类：
其他好文 时间：
2016-09-21 23:45:29
阅读次数：
549
在经过了近半个月的ELK环境的搭建配置，我做了我个人的工作总结，和大家分享一下。一、命令总结1.1、Es服务端口查看#netstat-nlpt|grep-E"9200|9300"1.2、Es插件安装和移除#./bin/plugininstallfile:///home/apps/license-2.3.3.zip#./bin/plugininstallfile:///home/apps/marv..
分类：
其他好文 时间：
2016-09-21 23:20:54
阅读次数：
368
1、简介对于日志来说，最常见的需求就是收集、查询、显示，正对应logstash、elasticsearch、kibana的功能。ELK日志系统在系统中，主要可解决的问题：基于日志的数据挖掘问题排查，上线检查根据关键字查询日志详情异常数据自动触发消息通知服务器监控，应用监控，Bug管理统计分..
分类：
其他好文 时间：
2016-09-21 00:14:48
阅读次数：
277
Supervisor(http://supervisord.org)是一个用Python写的进程管理工具，可以很方便的用来启动、重启、关闭进程（不仅仅是Python进程）。除了对单个进程的控制，还可以同时启动、关闭多个进程，当然了自己写个脚本也是可以给supervisor托管的。在企业里我们更多的是托管服务，或..
分类：
其他好文 时间：
2016-09-21 00:14:13
阅读次数：
196
实际中最好用的日志框架是logback，我们现在会直接使用logback通过tcp协议向logstash-shipper输入日志数据。在上一节的基础上修改！！！ 一、代码 1、pom.xml 2、application.properties 3、LogstashProperties.java 4、L ...
分类：
其他好文 时间：
2016-09-21 00:03:53
阅读次数：
274
1、安装JDKrpm-ivhjdk-8u101-linux-x64.rpm
Preparing...###########################################[100%]
1:jdk1.8.0_101###########################################[100%]
UnpackingJARfiles...
tools.jar...
plugin.jar...
javaws.jar...
deploy.jar...
rt.jar.....
分类：
其他好文 时间：
2016-09-18 21:21:59
阅读次数：
188
初探ELK-filebeat使用小结2016/9/18
一、安装
1、下载
有2种方式下载，推荐缓存rpm包到本地yum源
1）直接使用rpm
[root@vm49~]#curl-L-Ohttps://download.elastic.co/beats/filebeat/filebeat-1.3.1-x86_64.rpm
2）使用yum源
[root@vm49~]#rpm--importhttps://packages.elasti..
分类：
其他好文 时间：
2016-09-18 21:20:59
阅读次数：
4950
