最近在做日志分析这块儿,要使用 Logstash+Elasticsearch+Kibana 实现日志的导入、过滤及可视化管理,官方文档写的不够详细,网上的文章大多要么是针对Linux系统的用法,要么就是抄袭别人的配置大都没法运行。费了很大劲才搞定了这仨东西,写一篇用法心得,废话不多说,进入主题。
首先,你的电脑上要装Java 的JDK环境,要使用 Logstash+Elastic...
今天给大家介绍一个开源的分布式搜索引擎Elasticsearch。一、ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎, 基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,...
分类:
其他好文 时间:
2015-07-06 15:56:56
阅读次数:
142
Elasticsearch中使用groovy脚本获取文档的bool字段值时,得到的值是字符的'T'或者'F',而不是bool值true和false。比如文档中有一个字段是{ "bool_value":true}然后用这个字段判断时候得写成if (doc['bool_value'].value ==....
分类:
其他好文 时间:
2015-07-03 18:45:39
阅读次数:
150
介绍
这套系统,logstash负责收集处理日志文件内容存储到elasticsearch搜索引擎数据库中。kibana负责查询elasticsearch并在web中展示。
logstash收集进程收获日志文件内容后,先输出到redis中缓存,另一logstash处理进程从redis中读出并转存到elasticsearch中,以解决读快写慢速度不一致问题。...
分类:
其他好文 时间:
2015-06-30 12:55:52
阅读次数:
204
因公司数据安全和分析的需要,故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用:安装,配置过程,使用情况等续一,glusterfs分布式文件系统部署:说明:公司想做网站业务日志及系统日志统一收集和.....
分类:
其他好文 时间:
2015-06-25 00:08:21
阅读次数:
384
ElasticSearch性能优化主要分为4个方面的优化。一、服务器部署1、增加1-2台服务器,用于负载均衡节点elasticSearch的配置文件中有2个参数:node.master和node.data。这两个参数搭配使用时,能够帮助提供服务器性能。node.master:falsenode.data:true该node服务器只作为一个数据..
分类:
其他好文 时间:
2015-06-23 18:16:21
阅读次数:
145
因公司数据安全和分析的需要,故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用:安装,配置过程,使用情况等续一,glusterfs分布式文件系统部署: 说明: 公司想做网站业务日志及系统日志统一收集....
分类:
其他好文 时间:
2015-06-19 23:02:42
阅读次数:
356
最近搞了一个logstash kafka elasticsearch kibana 整合部署的日志收集系统。部署参考lagstash + elasticsearch + kibana 3 + kafka 日志管理系统部署 02 上线过程中有一些环节,觉得还是值的大家注意的比如:1,应用运维和研发人员...
分类:
其他好文 时间:
2015-06-19 22:58:06
阅读次数:
224
一、安装
简单的安装与启动于前文ElasticSearch初探(一)已有讲述,这里不再重复说明。
二、启动
1.自带脚本启动
1)bin/elasticsearch,不太任何参数,默认在前端启动
2)bin/elasticsearch-d,带参-d,表示在后台作为服务线程启动
还可以设置更多的参数:bin/elasticsearch-Xmx2g-Xms2g-Des.index....
分类:
其他好文 时间:
2015-06-19 18:45:24
阅读次数:
30129