1、介绍elk是实时日志分析平台,主要是为开发和运维人员提供实时的日志分析,方便人员更好的了解系统状态和代码问题。2、elk中的e(elasticsearch):(2.1)先安装依赖包,官方文档说明使用java1.8yum-yinstalljava-1.8.0-openjdk安装elasticsearch:tarzvxfelasticsearch-1.7...
分类:
其他好文 时间:
2016-08-11 23:30:29
阅读次数:
814
今天给大家带来的是开源实时日志分析ELK,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站:https://www.elastic.co其中的3个软件是:Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格..
分类:
其他好文 时间:
2016-07-03 23:38:44
阅读次数:
364
前言:Elk主要就是3个软件的组合,主要是elasticsearch搜索引擎,Logstash是一个日志收集日志,kibana实时分析进行展示。[关于日志搜集的软件,如:scribe,flume,heka,logstash,chukwa,fluentd,当然rsyslogrsyslog-ng都可以搜集。关于日志手机后存储软件,如:HDFS,Cassandramong..
分类:
系统相关 时间:
2016-05-27 14:58:51
阅读次数:
856
http://www.tuicool.com/articles/QFvARfr
开源实时日志分析ELK平台部署
版本:elasticsearch-2.3.2
logstash-2.3.2
kibana-4.5.0
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配...
分类:
其他好文 时间:
2016-04-29 15:04:07
阅读次数:
176
最近简单了解了关于ELK的知识: ELK 由ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成 官方网站:https://www.elastic.co/products | Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,
分类:
其他好文 时间:
2016-03-22 06:20:54
阅读次数:
203
项目背景 最近公司做一个项目,用户需要对网站访问者的广告点击/浏览记录进行实时统计分析,分析结果存入数据库,输出报表。我们采用了Kafka+Storm+Zookeeper的解决方案。之前没有接触过,经过一段时间的研究,最终完成了项目。接下来的内容我将介绍我们的解决方案。供大家参考。我们的系统结构如下
分类:
其他好文 时间:
2016-01-31 21:37:34
阅读次数:
270
Elasticsearch是个开源分布式搜索引擎它的特点有分布式零配置自动发现索引自动分片索引副本机制restful风格接口多数据源自动搜索负载等。Logstash是一个完全开源的工具他可以对你的日志进行收集、分析并将其存储供以后使用如搜索。kibana也是一个开源和免费的工具他Kibana可以..
分类:
其他好文 时间:
2015-11-24 13:03:49
阅读次数:
253
前记:去年测试了ELK,今年测试了Storm,最终因为Storm需要过多开发介入而放弃,选择了ELK。感谢互联网上各路大神,目前总算是正常运行了。logstash+elasticsearch+kibana的搭建参考:http://wsgzao.github.io/post/elk/。由于搭建过程比较...
分类:
其他好文 时间:
2015-11-04 14:45:47
阅读次数:
1693
package com.doctor.logbackextend;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties;import kafka.consumer...
分类:
Web程序 时间:
2015-07-01 20:32:42
阅读次数:
174
Apache storm 是一个由twitter开源的大数据处理系统,与其他系统不同的是,storm旨在用于分布式实时处理并且与语言无关。笔者所认知的storm使用场景诸 如 实时日志分析、网站用户行为实时分析、实时计算等,目前很多公司也都把storm作为自己的大数据架构的一部分,来实现一些实时业务...
分类:
Web程序 时间:
2015-01-14 14:10:42
阅读次数:
207