logstash(1.4.2)是一个不错的日志监控与分析工具,数据通过logstash使用后端的ElasticSearch(1.1.1)集群完成数据索引,以供后续的查询、分析使用。版本必须保持兼容否则报一下错误 Upgrade?...
分类:
其他好文 时间:
2015-06-09 14:14:10
阅读次数:
400
在ElasticSearch实际使用中遇到了一个问题,就是在数据量很大的情况下做聚合查询(aggregation)会导致内存溢出。当时看了文档,猜测修改search_type能避免内存溢出。实际测试发现,在数据量相同的情况下,search_type设置为query_and_fetch的聚合查询不会导致内存溢出,而默认的query_then_fetch则会内存溢出。本文就从源码层面分析这两种searc...
分类:
其他好文 时间:
2015-06-08 23:26:46
阅读次数:
345
Why Elasticsearch?由于需要提升项目的搜索质量,最近研究了一下Elasticsearch,一款非常优秀的分布式搜索程序。最开始的一些笔记放到github,这里只是归纳总结一下。首先,为什么要使用Elasticsearch?最开始的时候,我们的项目仅仅使用MySQL进行简单的搜索,然后...
分类:
其他好文 时间:
2015-06-08 19:14:24
阅读次数:
195
操作系统和进程部分操作系统和进程部分的含义是很清楚的,这里不会描述的很详细。他们列出了基本的资源统计,例如CPU和负载。操作系统部分描述了整个操作系统的情况,进程部分只是描述了Elasticsearch的JVM进程的使用情况。这显然是很有用的统计, 但是往往会被忽视,一些统计包括如下部分:>CPU>...
分类:
其他好文 时间:
2015-06-04 11:22:50
阅读次数:
100
译自ES官方对于硬件设备的说明,原文见: [https://www.elastic.co/guide/en/elasticsearch/guide/current/hardware.html]
当你准备把ElasticSearch部署到生产服务器上的时候,这里有一些建议可供你参考。没有什么硬性的规则,ElasticSearch可以在很广泛的应用场景中使用,也可以在各种机器上跑起来。但...
分类:
其他好文 时间:
2015-06-03 13:46:55
阅读次数:
115
ELK日志分析系统环境:centos6.5准备好ELK三个安装包,官网下1、安装jdk网上有的教程叫下载oracle的jdk,其实没必要,系统自带的openjdk就行了,不过需要先看下版本,1.7是不行的,要1.8以上升级到1.8先删除1.7版本#yumremove-yjava-1.7.0-openjdk然后安装1.8版本,看到下面信..
分类:
其他好文 时间:
2015-06-02 06:57:18
阅读次数:
1305
ES Head is not working with elasticsearch-1.4.0.Beta1:https://github.com/elastic/elasticsearch/issues/7151
分类:
其他好文 时间:
2015-06-01 18:38:31
阅读次数:
146
一、Elasticseach如何将数据存储到分片中 问题:当我们要在ES中存储数据的时候,数据应该存储在主分片和复制分片中的哪一个中去;当我们在ES中检索数据的时候,又是怎么判断要查询的数据是属于哪一个分片。 ? 数...
分类:
其他好文 时间:
2015-05-29 14:10:27
阅读次数:
159
1、升级前的准备工作 从Elasticsearch 的官方网站?https://www.elastic.co/downloads/elasticsearch?下载最新版本的Elasticsearch,为了线上方便对数据包的管理,一版选择 .gz.tar 格式或者 .zip 格式文件。 ?...
分类:
其他好文 时间:
2015-05-29 12:21:09
阅读次数:
115
文章主要根据官方文档翻译而来,结合了自己的理解是经验,阐述了Elasticsearch 分片之间相互交互过程的原理分析。
分类:
其他好文 时间:
2015-05-29 00:52:37
阅读次数:
347