码迷,mamicode.com
首页 > 其他好文 > 详细

Elasticsearch--集群&吞吐量

时间:2018-10-28 00:52:53      阅读:256      评论:0      收藏:0      [点我收藏+]

标签:col   实时   不同   无限   测试   图片   sea   可用内存   amp   

目录

高查询和高吞吐量

过滤器缓存

过滤器缓存负责存查询中使用到的过滤器。

Elasticsearch包含两种类型的过滤器缓存:节点过滤去缓存(默认)和索引过滤器缓存

节点过滤器缓存被分配在节点上的所有索引共享,可以配置成使用特定大小的内存,或分配给Elasticsearch总内存的百分比。属性是indices.cache.filter.size。

索引过滤器缓存基于索引级别,一般来说,应该使用节点级别的过滤器缓存,因为很难预测每个索引最终缓存大小,通常也不知道最终节点会有多少索引。

字段数据缓存和断路器

字段数据缓存是Elasticsearch缓存的一部分,主要用于当查询对字段执行排序或切面时。构建字段数据缓存是昂贵的。

允许用于字段数据缓存的内存大小用indices.fielddata.cache.size属性来控制。这些值是节点级别的。此外,默认情况下,字段数据缓存的大小是无限的

我们可以控制字段数据缓存的过期时间,默认情况下字段数据缓存是永不过期的。用indices.fielddata.cache.expire属性来控制。重建字段数据缓存是非常昂贵的,一般情况下,不应该设置过期时间。

断路器

字段数据断路器允许估计一个字段加载到缓存所需的内存。利用它,可以抛出异常防止一些字段加载到内存。有两个属性来控制其行为,indices.fielddata.break.limit,默认是80%。indices.fielddata.break.overhead,默认是1.03,定义了用来与原始估计相乘的一个常量。

存储模块

Elasticsearch中的存储模块负责控制如何写入索引数据。
利用index.store.type属性,指定使用存储的类型:
技术分享图片

索引缓冲和刷新率

Elasticsearch允许设置最大的内存数。indices.memory.index_buffer_size设置节点上所有索引分片共拥有的最大内存大小。例如20%,Elasticsearch提供最大堆大小20%的内存给索引缓冲。

indices.memory.min_index_buffer_size,默认是4mb,允许每个分片设置最小索引缓冲。

索引刷新率

index.refresh_interval指定在索引搜索器对象刷新频率,默认是1s,基本意味着数据视图刷新的频率。刷新率越低,文档对搜索操作可视的时间越短和索引操作将会变慢。
当对数据重建索引时,建议在索引阶段把index.refresh_interval属性设为-1。

线程池的配置

Elasticsearch使用多个池来控制线程的处理。
Elasticsearch公开的如下线程池类型:
技术分享图片
技术分享图片
技术分享图片

一些通用的建议来配置高索引和查询吞吐量的集群

必须给予Elasticsearch足够的内存,而且是物理内存。一般来说,运行Elasticsearch的JVM进程不应该超过可用内存的50%或60%。另外,把Xms和Xmx参数设置为相同的值以避免JVM堆的大小调整。

  1. 选择正确的存储
    除了物理内存以外,应该选择正确的存储实现。如果运行64位操作系统,应该选择mmapfs。如果没有运行64位系统,UNIX系统选择niofs,windows系统选择simplefs。如果可以容忍一个易失的存储,但希望它非常快,可以选择memory存储。
  2. 索引刷新率
    刷新率指定文档多块可以对搜索可见。刷新率越快,查询越慢,索引吞吐量越低。如果允许一个较慢的刷新率,如10s或30s,这使得Elasticsearch承受的压力更少,因此内部对象重新打开的频率更低,因此,将有更多的资源用于索引和查询。
  3. 优化线程池
    强烈建议调整默认线程池,尤其是查询操作。在性能测试之后,通常看到集群上的查询不堪重负,这是应该开始拒绝请求。大多数情况下,最好立刻拒绝该请求,而不是放到队列中并强制程序等待很长时间请求处理。
  4. 优化合并过程
    合并过程很大程度上取决于用例,以及若干因素。查询多个段跟查询数量更少的段相比更慢。但是,想查询数目更少的段,需要更多的代建进行合并。
    通常来说,如果想查询更快,应该以索引中更少的段为目标。如果想索引更快,应该有更多的段。使用并行合并调度器并调整默认调节值,是I/O子系统不会被合并吞没。
  5. 字段数据缓存和断路器
    默认情况下,字段数据缓存是无限的。有两个不同因子可以调节,来确保不会遇到内存不足错误。首先,可以限制字段数据缓存的大小。其次是断路器,通过它配置成加载过多数据时抛出一个异常。
  6. 索引的内存缓冲区
    用于索引缓冲区的可用内存越多(indices.memory.index_buffer_size),Elasticsearch可以在内存总保存的文档也越多。默认情况下,属性值是10%,如果需要更高的索引比例,可以提高这个百分比。
  7. 优化事务日志
    Elasticsearch有个内部模块称为translog。它是分片上的结构,为预写日志服务。
    默认情况下,Elasticsearch在事务日志中保存最多5000次操作,同时最大不超过200mb。如果想要更高的索引吞吐量,又可以承担数据对搜索操作不可见的时间更长,就可以提高这个默认值。index.translog.flush_threhold_ops和index.translog.flush_threhold_size(两者都是索引上的设置,可以通过Elasticsearch API实时更新)。
  8. 牢记于心
    除了上面提到的因素,应该监视Elasticsearch集群并作出相应的反应。

Elasticsearch--集群&吞吐量

标签:col   实时   不同   无限   测试   图片   sea   可用内存   amp   

原文地址:https://www.cnblogs.com/51zone/p/9863962.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!