标签：elasticsearch   搜索   集群   索引   

ElasticSearch官网：http://www.elasticsearch.org/

先上一张elasticsearch的总体框架图：

ElasticSearch是基于Lucene开发的分布式搜索框架，包含如下特性：

分布式索引、搜索

索引自动分片、负载均衡

自动发现机器、组建集群

支持Restful 风格接口

配置简单等。

下图是ElasticSearch的第三方插件管理工具，通过它可以很清晰的看到它索引分布的情况：哪块分布在那里，占用空间多少都可以看到，并且可以管理索引。

当一台机挂了时，整个系统会对挂机里的内容重新分配到其它机器上，当挂掉的机重新加入集群时，又会重新把索引分配给它。当然，这些规则都是可以根据参数进行设置的，非常灵活。ElasticSearch是先把索引的内容保存到内存之中，当内存不够时再把索引持久化到硬盘中，同时它还有一个队列，是在系统空闲时自动把索引写到硬盘中。

的后端存储方式可以有一下四种：

1. 像普通的 Lucene 索引，存储在本地文件系统中;

2. 存储在分布式文件系统中，如 freeds;

3. 存储在 Hadoop 的 hdfs中;

4. 存储在亚马逊的 S3 云平台中。

它支持插件机制，有丰富的插件。比如和 mongoDB、couchDB 同步的river 插件，分词插件，Hadoop 插件，脚本支持插件等。

下面介绍elasticsearch的几个概念：

cluster

代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es 的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看 es 集群，在逻辑上是个整体，与任何一个节点的通信和与整个 es 集群通信是等价的。在配置文件中可以配置集群的名字，在同一局域网内的机器，配置相同的cluster名字，将会自动组建集群，不需要其它特殊配置。

shards

代表索引分片，es 可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上，构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。

replicas

代表索引副本，es 可以设置多个索引的副本，副本的作用一是提高系统的容错性，当某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率，es 会自动对搜索请求进行负载均衡。

recovery

代表数据恢复或叫数据重新分布，es 在有节点加入或退出时会根据机器的负载对索引分片进行重新分配，挂掉的节点重新启动时也会进行数据恢复。

river

代表 es 的一个数据源，也是其它存储方式（如：数据库）同步数据到es的一个方法。它是以插件方式存在的一个 es 服务，通过读取 river 中的数据并把它索引到 es 中，官方的 river 有 couchDB、RabbitMQ、Twitter、Wikipedia。

gateway

代表 es 索引的持久化存储方式，es默认是先把索引存放到内存中，当内存满了时再持久化到硬盘。当这个 es 集群关闭再重新启动时就会从 gateway 中读取索引数据。es 支持多种类型的 gateway，有本地文件系统（默认），分布式文件系统，Hadoop 的 HDFS 和 amazon 的 s3 云存储服务。

discovery.zen

代表 es 的自动发现节点机制，es是一个基于 p2p 的系统，它先通过广播寻找存在的节点，再通过多播协议来进行节点之间的通信，同时也支持点对点的交互。

Transport

分布式搜索elasticsearch 基本概念

标签：elasticsearch   搜索   集群   索引   

原文地址：http://blog.csdn.net/gdutliuyun827/article/details/40074323