1、应用场景实时数据流通过kafka后，根据业务需求，一部分直接借助kafka-connector入Elasticsearch不同的索引中。另外一部分，则需要先做聚类、分类处理，将聚合出的分类结果存入ES集群的聚类索引中。如下图所示：业务系统的分层结构可分为：接入层、数据处理层、数据存储层、接口层。那么问题来了？我们需要基于聚合（数据处理层）的结果实现检索和聚合分析操作，如何实现更快的检索和更高效
分类：
其他好文 时间：
2020-08-03 09:46:14
阅读次数：
76
0、需求随着ELKStack在应用系统中的数据规模的急剧增长，每天千万级别数据量（存储大小：10000000*10k/1024/1024=95.37GB，假设单条数据10kB，实际远大于10KB）的累积成为日常需求。如何以相对简单的图形化效果展示数据的增量呢？本文给出思路和实现。1、问题分解1.1ES集群的数据量统计ES自带的命令行统计举例：curl‘localhost:9200/_cat
分类：
其他好文 时间：
2020-08-03 09:45:38
阅读次数：
81
1、聚合为什么慢？大多数时候对单个字段的聚合查询还是非常快的，但是当需要同时聚合多个字段时，就可能会产生大量的分组，最终结果就是占用Elasticsearch大量内存，从而导致OOM的情况发生。实践应用发现，以下情况都会比较慢：1）待聚合文档数比较多（千万、亿、十亿甚至更多）；2）聚合条件比较复杂（多重条件聚合）；3）全量聚合（翻页的场景用）。2、聚合优化方案探讨优化方案一：默认深度优先聚合改为广
分类：
其他好文 时间：
2020-08-03 09:45:09
阅读次数：
79
1、问题抛出某个词组在Elasitcsearch中的某个document中存在，就一定通过某种匹配方式把它搜出来。举例：title=公路局正在治理解放大道路面积水问题。输入关键词:道路，能否搜索到这个document呢？实际应用中可能需要：1）检索关键词”理解”、”解放”、”道路”、“理解放大”，都能搜出这篇文档。2）单个的字拆分“治”、“水”太多干扰，不要被检索出来。3）待检索的词不在词典中，也
分类：
其他好文 时间：
2020-08-03 09:44:26
阅读次数：
101
1、Elasticsearch支持聚合后分页吗，为什么？不支持，看看Elasticsearch员工如何解读。这个问题，2014年在github上有很长的讨论。究其为什么ES不支持聚合后分页？可概括如下：1）性能角度——聚合分页会在大量的记录中产生性能问题。2）正确性角度——聚合的文档计数不准确。所以奇怪的事情可能会发生，如第二页的第一项具有比第一页的最后一个元素更高的计数。具体为什么会不正确？这是
分类：
其他好文 时间：
2020-08-03 09:43:54
阅读次数：
109
少废话，直接开始。1、大文件是多大？ES建立索引完成全文检索的前提是将待检索的信息导入Elaticsearch。项目中，有时候需要将一些扫描件、PDF文档、Word、Excel、PPT等文档内容导入Elasticsearch。比如：将《深入理解Elasticsearch》这边书导入ES，而这边书的全文内容被识别后的大小可能为3MB——5MB以上的字节。存入ES后是一个content字段，对这个co
分类：
其他好文 时间：
2020-08-03 09:43:41
阅读次数：
78
下载eslasticSearch（本次使用6.5.4的windows版本） https://www.elastic.co/cn/downloads/past-releases 下载ik中文分词器（对应es的版本 下载zip） https://github.com/medcl/elasticsearc ...
分类：
其他好文 时间：
2020-08-01 12:35:01
阅读次数：
94
Elastic{ON}北京分享了Elasticsearch7.0在Speed,Scale,Relevance等方面的很多新特性。比快更快，有传说中的那么牛逼吗？盘他！通过本文，你能了解到：Elasticsearch&Kibana7.部署体验Elasticsearch7革命性更新Elasticsearch7升级注意事项Elasticsearch版本更新太快了，学不动了，肿么办？1、Elast
分类：
其他好文 时间：
2020-08-01 12:33:54
阅读次数：
78
1、问题抛出来自星友的一个真实业务场景问题：我现在的业务需求是这样的。有一个作者字段，比如是这样的Li,LeiLei;Han,MeiMei;还有一些是LeiLeiLi...。现在要精确匹配。我的想法是：用自定义分词通过分号分词。但是这样我检索Li,LeiLei那么LeiLeiLi就不能搜索到，我希望的结果是LeiLeiLi也被搜索到。而且这种分词，Li,LeiLei不加逗号，也不能匹配到。但是不知
分类：
其他好文 时间：
2020-08-01 12:33:36
阅读次数：
68
0、背景在当今世界，各行各业每天都有海量数据产生，为了从这些海量数据中获取想要的分析结果，需要对数据进行提取、转换，存储，维护，管理和分析。这已然远远超出了普通处理工具、数据库等的实现能力，只有基于的分布式架构和并行处理机制的大数据工具所才能实现这些功能。Elasticsearch是响应如前所述大多数用例的最热门的开源数据存储引擎之一。Elasticsearch是一种分布式数据存储和搜索引擎，具有
分类：
其他好文 时间：
2020-07-31 01:10:28
阅读次数：
62
