简略介绍: Logstash是elastic技术栈中的一员。它是一个数据采集引擎,可以从数据库采集数据到es中。我们可以通过设置自增id主键或者时间来控制数据的自动同步,这个id或者时间就是用于给logstash进行识别哪些数据需要同步的。 使用ID的方式,假设表中有1000条数据,Logstats ...
分类:
其他好文 时间:
2020-05-24 11:22:32
阅读次数:
75
Elastic Search的映射(Mapping)用于在一个索引中把文档划分为具有逻辑关系的分组,类似于数据库的表结构,是一个不可或缺的一部分。 自动生成 ES的Mapping可以类似于MongoDB那样自动生成,例如我们首先插入一条数据。 PUTtwitter/_doc/1{"user_name... ...
分类:
移动开发 时间:
2020-05-24 00:24:39
阅读次数:
80
倒排索引的初衷 倒排索引,它也是索引。索引,初衷都是为了快速检索到你要的数据。 我相信你一定知道mysql的索引,如果对某一个字段加了索引,一般来说查询该字段速度是可以有显著的提升。 每种数据库都有自己要解决的问题(或者说擅长的领域),对应的就有自己的数据结构,而不同的使用场景和数据结构,需要用不同 ...
分类:
其他好文 时间:
2020-05-23 13:04:30
阅读次数:
104
题意:给两段航班的起始时间a ,b 这两段航班的飞行时间分别为ta,tb 给k次删除航班的次数, 问如何让飞从A飞到B 再从B起飞到目的地的时间最久 题目链接:https://codeforc.es/contest/1148/problem/B 刚开始想的是贪心选怎么删除航班,但是贪心的话是受k影响 ...
分类:
其他好文 时间:
2020-05-23 12:53:50
阅读次数:
47
嵌套类型的基本概念就不讲了,需要了解概念的,传送门:https://www.cnblogs.com/just84/p/10936034.html 对于嵌套类型的字段,要使用ES专用的嵌套查询 嵌套字段举例: brandInfo:[ ? { ? "group": "xx", ? "category": ...
分类:
其他好文 时间:
2020-05-22 19:15:37
阅读次数:
107
WGCLOUD基于java语言开发,是高性能高并发的分布式监控平台,核心模块包括:服务器集群监控,ES集群监控,CPU监控,内存监控,数据监控(mysql,oracle,pg等),服务心跳检测,应用进程管理,磁盘IO监控,系统负载监控,监控告警信息推送。englishreadme使用中若cache过大导致内存报警不准确,可以将内存使用率告警值改大,如memWarnVal:150,该阈值可以大于10
分类:
其他好文 时间:
2020-05-22 16:56:02
阅读次数:
79
A require 和 import比较 | | 出现时间 | 加载机制 | 输出 | 用法 | 特点 | | | | | | | | | require | 2009 | 运行时加载 | 浅拷贝 | 见下 | 社区方案,提供了服务器/浏览器的模块加载方案。非语言层面的标准。只能在运行时确定模块的依 ...
分类:
其他好文 时间:
2020-05-22 11:18:12
阅读次数:
57
1 面试题 说说ES的分布式架构原理 2 考点分析 在搜索这块,曾经lucene 是最流行的搜索库. 几年前业内一般都问,你了解 lucene 吗?你知道倒排索引的原理吗? 但现在不问了,因为现在项目基本都是采用基于 lucene 的分布式搜索引擎—— ElasticSearch. 现在分布式搜索基 ...
分类:
编程语言 时间:
2020-05-19 12:17:30
阅读次数:
64
NET Core接入ElasticSearch 7.5 写在前面 最近一段时间,团队在升级ElasticSearch(以下简称ES),从ES 2.2升级到ES 7.5。也是这段时间,我从零开始,逐步的了解了ES,中间也踩了不少坑,所以特地梳理和总结一下相关的技术点。 ES小趣闻: 多年前,一个叫做S ...
分类:
Web程序 时间:
2020-05-18 22:57:58
阅读次数:
80
es支持集群模式,是一个分布式系统,其好处主要有两个: 增大系统容量,如内存,磁盘,使得es集群可以支持PB级的数据 提高系统可用性,即使部分节点停止服务,整个集群依然可以正常服务 es集群由多个es实例组成,不同集群通过集群名字来区分,可通过cluster.name来进行修改,默认为elastic ...
分类:
其他好文 时间:
2020-05-17 17:29:30
阅读次数:
51