一. 什么是游标查询(Scroll) 顾名思义,相当于用一把游标标记查询的位置. 二. 为什么要使用游标查询 在默认情况下,ES查询每次返回的数量最多只有1W条,且只能是前1W条. 这意味着,在不修改配置的情况下,想通过分页的方式(如下)拿到1W条之后的数据是做不到的 GET /索引/类型/_sea ...
分类：
其他好文 时间：
2020-05-14 19:37:25
阅读次数：
258
前言（为什么要写这篇文章） 首先看过我博客的都应该知道，我去年发了一篇Python封装Elasticsearch的文章。但那是去年了，今年我将我的检索服务后端用Golang全部重写了一波，相当于用Go重构了以前的Python代码，不过我个人感觉Golang的效率还是高于Python的，而且我还加了一 ...
分类：
其他好文 时间：
2020-05-14 13:50:31
阅读次数：
74
第一部分 概括 ELK是集分布式数据存储、可视化查询和日志解析于一体的日志分析平台。ELK=elasticsearch+Logstash+kibana，三者各司其职，相互配合，共同完成日志的数据处理工作。ELK各组件的主要功能如下： elasticsearch，数据存储以及全文检索； logstas ...
分类：
数据库 时间：
2020-05-14 02:03:08
阅读次数：
148
任务：从es集群a,b,c 。。。把数据迁移到新es集群d,e,f 迁移数据只是复制 需要额外3台服务器，分别部署新es集群d,e,f 和 单点logstash是迁移通道 和 kibana查询工具 （集群es复制到单点es，没试过，改天试一下） 具体部署步骤可以自行百度 或者 看我之前的随笔 主要是 ...
分类：
其他好文 时间：
2020-05-13 19:52:47
阅读次数：
157
创建索引 创建一个blog索引（没有结构的） 返回值 ...
分类：
其他好文 时间：
2020-05-13 09:24:04
阅读次数：
54
基于阿里云Elasticsearch的日志采集分析展示
分类：
其他好文 时间：
2020-05-12 18:51:52
阅读次数：
126
工作需要，在测试环境搭建了一下日志平台，记录一下。 服务器：linux centos 工具列表：elasticsearch，kibana，filebeat 1、下载es，kibana，filebeat 。直接官网下载 https://www.elastic.co/cn/，因为我的jdk是1.8，所以 ...
分类：
其他好文 时间：
2020-05-12 14:02:56
阅读次数：
127
Elasticsearch打分机制 # es:重要的就是查询，全文检索 # 打分机制的公式：TF-IDF - 一个词条在某篇文档中出现的次数越多，该文档就越相关，分越高，`TF`是词频（term frequency） - 一个词条如果在不同的文档中出现的次数越多，它就越不相关，分越低，`IDF`是逆 ...
分类：
其他好文 时间：
2020-05-12 09:55:07
阅读次数：
57
logstash和elasticsearch是按照UTC时间的，kibana却是按照正常你所在的时区显示的，是因为kibana中可以配置时区信息。 具体看这个： 有如下两种解决办法： 1.jdbc_connection_string配置上使用CTT(Asia/shanghai)时间 或者 2.新增时 ...
分类：
数据库 时间：
2020-05-11 11:42:53
阅读次数：
299
一份文档被索引之后，需要等待一段时间才能被查询到。这一性质维护了 es 的性能承诺，但也限制了它的应用场景。截至本文撰写之日，es 已经更新到了 7.x 版本。然而，网络中几乎查询不到将其用作企业级主力搜索赋能工具的案例，也许大家选择了 RMDB，亦或是技术保密吧 ...
分类：
其他好文 时间：
2020-05-10 21:00:51
阅读次数：
62
