作者：bellen，腾讯云大数据研发工程师。腾讯云Elasticsearch被广泛应用于日志实时分析、结构化数据分析、全文检索等场景中，本文将以情景植入的方式，向大家介绍与腾讯云客户合作过程中遇到的各种典型问题，以及相应的解决思路与方法，希望与大家一同交流。背景因为游戏业务本身的日志数据量非常大(写入峰值在100wqps)，在服务客户的几个月中，踩了不少坑，经过数次优化与调整，把客户的ES集群调整
分类：
其他好文 时间：
2020-08-07 10:02:01
阅读次数：
67
作者：bellen，腾讯云大数据研发工程师。腾讯云Elasticsearch被广泛应用于日志实时分析、结构化数据分析、全文检索等场景中，本文将以情景植入的方式，向大家介绍与腾讯云客户合作过程中遇到的各种典型问题，以及相应的解决思路与方法，希望与大家一同交流。背景因为游戏业务本身的日志数据量非常大(写入峰值在100wqps)，在服务客户的几个月中，踩了不少坑，经过数次优化与调整，把客户的ES集群调整
分类：
其他好文 时间：
2020-08-07 10:01:06
阅读次数：
63
作者：bellen，腾讯云大数据研发工程师。腾讯云Elasticsearch被广泛应用于日志实时分析、结构化数据分析、全文检索等场景中，本文将以情景植入的方式，向大家介绍与腾讯云客户合作过程中遇到的各种典型问题，以及相应的解决思路与方法，希望与大家一同交流。背景因为游戏业务本身的日志数据量非常大(写入峰值在100wqps)，在服务客户的几个月中，踩了不少坑，经过数次优化与调整，把客户的ES集群调整
分类：
其他好文 时间：
2020-08-07 10:00:44
阅读次数：
66
课程大纲 1、Elasticsearch对复杂分布式机制的透明隐藏特性2、Elasticsearch的垂直扩容与水平扩容3、增减或减少节点时的数据rebalance4、master节点5、节点对等的分布式架构 1、Elasticsearch对复杂分布式机制的透明隐藏特性 Elasticsearch是 ...
分类：
其他好文 时间：
2020-08-07 00:33:15
阅读次数：
95
1、部署elaseticsearch 1.1、docker下载 docker pull elasticsearch docker images mkdir -p /usr/local/elasticsearch/{config,logs/{node0,node1,node2},data/{node0 ...
分类：
其他好文 时间：
2020-08-05 00:02:07
阅读次数：
75
1、应用场景实时数据流通过kafka后，根据业务需求，一部分直接借助kafka-connector入Elasticsearch不同的索引中。另外一部分，则需要先做聚类、分类处理，将聚合出的分类结果存入ES集群的聚类索引中。如下图所示：业务系统的分层结构可分为：接入层、数据处理层、数据存储层、接口层。那么问题来了？我们需要基于聚合（数据处理层）的结果实现检索和聚合分析操作，如何实现更快的检索和更高效
分类：
其他好文 时间：
2020-08-03 09:46:14
阅读次数：
76
0、需求随着ELKStack在应用系统中的数据规模的急剧增长，每天千万级别数据量（存储大小：10000000*10k/1024/1024=95.37GB，假设单条数据10kB，实际远大于10KB）的累积成为日常需求。如何以相对简单的图形化效果展示数据的增量呢？本文给出思路和实现。1、问题分解1.1ES集群的数据量统计ES自带的命令行统计举例：curl‘localhost:9200/_cat
分类：
其他好文 时间：
2020-08-03 09:45:38
阅读次数：
81
1、Elasticsearch支持聚合后分页吗，为什么？不支持，看看Elasticsearch员工如何解读。这个问题，2014年在github上有很长的讨论。究其为什么ES不支持聚合后分页？可概括如下：1）性能角度——聚合分页会在大量的记录中产生性能问题。2）正确性角度——聚合的文档计数不准确。所以奇怪的事情可能会发生，如第二页的第一项具有比第一页的最后一个元素更高的计数。具体为什么会不正确？这是
分类：
其他好文 时间：
2020-08-03 09:43:54
阅读次数：
109
少废话，直接开始。1、大文件是多大？ES建立索引完成全文检索的前提是将待检索的信息导入Elaticsearch。项目中，有时候需要将一些扫描件、PDF文档、Word、Excel、PPT等文档内容导入Elasticsearch。比如：将《深入理解Elasticsearch》这边书导入ES，而这边书的全文内容被识别后的大小可能为3MB——5MB以上的字节。存入ES后是一个content字段，对这个co
分类：
其他好文 时间：
2020-08-03 09:43:41
阅读次数：
78
|题记网上当前（截止20170914）流传的各种配置文件普通存在以下问题：1）版本低，不能和当前版本5.X匹配。2）5.X的配置本身较1.X，2.X就有很大不同，原有配置已不适用。3）ES英文、中文文档也没有及时更新。现在，确保ES5.X的高性能到底需要哪些配置越发令人神往。以下清单内容参考了ES官网文档，且都是在ES5.4.0的环境中验证过的，请放心使用。清单1：了解ES集群拓扑结构您需要确定您
分类：
其他好文 时间：
2020-08-03 09:43:22
阅读次数：
83
