题记最近知识星球里几个问题都问到了docvalues、storefield、fielddata等的概念。问题1:”群主有介绍docvalue,fielddata,storefields比较好的文章么?一直感觉有点模糊“问题2:“请教下星主关于ES存储相关的问题,一个文档有如下几个地方可能会存储:倒排索引。Source字段。store存储(如果开启)doc_values。不知道我理解的是否正确?如果
分类:
其他好文 时间:
2020-12-16 12:21:51
阅读次数:
2
线上实战问题11、知识点脚本的使用2、问题描述:你好,我想问一下,在ES里我想把两个字段的值是一样的查出来。但是其中一个字段是在一个字典里的,我该怎么写啊?{"query":{"bool":{"must":{"script":{"script":{"source":"doc[‘user_id‘]=doc[‘music.sec_uid‘]","lang":"painless"}}}}}}比如:我想要
分类:
其他好文 时间:
2020-12-16 12:18:51
阅读次数:
4
1、实战问题来源问题1:大佬们GET/_nodes/hot_threads查看热线程的这个API有没有讲解请求结果的文章呢?返回一堆堆栈看不懂......问题2:ES集群就一台机器CPU爆高,但IO、heap_mem都正常。咋搞?hot_thread我查了,报了一坨,SOS死磕Elasticsearch知识星球微信群于是就有了这篇文章。2、hot_threads干什么的?能吃吗?实战业务场景中,当
分类:
编程语言 时间:
2020-12-16 12:17:47
阅读次数:
4
一、ELK基础1、ELK简介ELK本质上是三个软件的组合,通过这三个软件的组合可以实现构建一个日志的收集、分析、展示的平台,也就是说借助于ELK可以实现把收集到的日志信息以饼图、柱形图、曲线图等直观的方式展示出来。ELK的三个组件如下:kibana:这个组件用来展示数据,用户访问的时候是访问kibanaelaticsearch简称es:用来存储数据的,kibana中所展示的数据都是来自于eslog
分类:
其他好文 时间:
2020-12-15 12:56:41
阅读次数:
7
1、题记Elasticsearch有没有类似mysql的distinct的去重功能呢?1)如何去重计数?类似mysql:selectdistinct(count(1))frommy_table;2)如何获取去重结果。类似mysql:SELECTDISTINCTname,ageFROMusers;2、需求1)对ES的检索结果进行去重统计计数。2)对ES的检索结果去重后显示。3、分析1)统计计数需要借
分类:
其他好文 时间:
2020-12-15 12:29:48
阅读次数:
2
1、问题源自星球同学的提问:es如何与hive或mysql结合使用?es不支持事务有什么好的弥补方案吗?2、事务的核心概念如果一个数据库声称支持事务的操作,那么该数据库必须要具备以下ACID四个特性:原子性(Atomicity)原子性是指事务包含的所有操作要么全部成功,要么全部失败回滚,一致性(Consistency)一致性是指事务必须使数据库从一个一致性状态变换到另一个一致性状态,也就是说一个事
分类:
其他好文 时间:
2020-12-15 12:29:15
阅读次数:
3
题记来自Elasticsearch中文社区的问题——MySQL中表无唯一递增字段,也无唯一递增时间字段,该怎么使用logstash实现MySQL实时增量导数据到es中?logstash和kafka_connector都仅支持基于自增id或者时间戳更新的方式增量同步数据。回到问题本身:如果库表里没有相关字段,该如何处理呢?本文给出相关探讨和解决方案。1、binlog认知1.1啥是binlog?bin
分类:
数据库 时间:
2020-12-15 12:28:58
阅读次数:
5
ES集群下线节点扩容,然后在上线 1、将节点从集群路由策略中排除 PUT _cluster/settings { "transient" : { "cluster.routing.allocation.exclude._name" : "node-1" } } 2、等待节点上分片全部被迁移 3、下线 ...
分类:
其他好文 时间:
2020-12-14 13:34:02
阅读次数:
4
一 索引模板(用于通过模板匹配匹配到的所有索引) 详细请点击 { "order": 0, // 模板优先级 "template": "sample*", // 模板匹配的名称方式 "settings": {...}, // 索引设置 "mappings": {...}, // 索引中各字段的映射定义 ...
分类:
其他好文 时间:
2020-12-11 12:09:24
阅读次数:
5
少点代码,多点头发本文已经收录至我的GitHub,欢迎大家踊跃star和issues。https://github.com/midou-tech/articles看文章有两点需要注意:本公号讲解的Elasticsearch是基于7.7.0版本,你们在阅读一些相关书籍和博客注意版本,不同版本很多概念会有出入。文章写作过程中会经常将Elasticsearch简写为Es,阅读过程中需要注意。一般学习一个
分类:
其他好文 时间:
2020-12-11 11:41:55
阅读次数:
2