问题描述 一个线上集群，执行的 Query DSL 都是一样的，只是参数不同。统计数据显示 98% ~ 99% 的查询相应速度都很快，只需要 4 ~ 6ms，但是有 1% 左右的查询响应时间在 100ms ~ 200ms 之间。集群硬件配置较高，使用的是 SSD 硬盘，系统可用内存远高于索引所使用内 ...
分类：
系统相关 时间：
2017-10-13 00:38:12
阅读次数：
239
目前在绝对多数公司在使用 ElasticSearch 将其当做数据库使用，将多个数据库中的数据同步到 ElasticSearch 索引是非常常见的应用场景。那么自然而然就会涉及到数据频繁的新增和更新，而官方的文档并没有对 update 的底层机制做特别说明，而当我们从 2.x 版本升级到 5.x 发 ...
分类：
其他好文 时间：
2017-10-13 00:28:54
阅读次数：
179
业务需求 1. 实现搜索引擎前缀搜索功能(中文,拼音前缀查询及简拼前缀查询功能) 2. 实现摘要全文检索功能，及标题加权处理功能(按照标题权值高内容权值相对低的权值分配规则，按照索引的相关性进行排序，列出前20条相关性最高的文章) 前缀搜索 中文搜索： 1. 搜索“刘”，匹配到“刘德华”、“刘斌”、 ...
分类：
其他好文 时间：
2017-10-09 21:06:06
阅读次数：
221
问题 使用 ElasticSearch 做搜索 时，比如用户输入 --> 柠檬，搜出来的结果 --> 柠檬汽水，柠檬味牙膏等在前面，真正想要的水果那个 柠檬 在后面。已经在中文分词中加了 柠檬，还是不管用，正常来说 tf、idf 都一样，影响排序的只有 field norms。按道理 “柠檬” 的 ...
分类：
其他好文 时间：
2017-10-09 19:47:26
阅读次数：
279
问题 1. jdbc-input-plugin 只能实现数据库的追加，对于 elasticsearch 增量写入，但经常 jdbc 源一端的数据库可能会做数据库删除或者更新操作。这样一来数据库与搜索引擎的数据库就出现了不对称的情况。当然你如果有开发团队可以写程序在删除或者更新的时候同步对搜索引擎操作 ...
分类：
数据库 时间：
2017-10-09 19:42:07
阅读次数：
209
elasticstack基础组件beats详解fielbeatfilebeat:
spool_size:1024#最大可以攒够1024条数据一起发送出去
idle_timeout:"5s"#否则每5秒钟也得发送一次
registry_file:".filebeat"#文件读取位置记录文件，会放在当前工作目录下。所以如果你换一个工作目录执行filebeat
会导致重复..
分类：
其他好文 时间：
2017-05-17 15:23:42
阅读次数：
775
想要轻松地通过许多不同的方式查询数据，甚至是从未预料到的方式？想要以多种方式可视化日志？同时支持基于时间、文本和其他类型的即时过滤器？借助于Elasticstack的卓越性能和可扩展方式的优点，我们将通过两个示例轻松实现。本文由DNCMagazineforDevelopersandArchitects发布..
分类：
Web程序 时间：
2017-05-07 21:09:26
阅读次数：
544
Elasticstack 5.1.2 集群日志系统部署及实践 一、ELK Stack简介 ELK Stack 是Elasticsearch、Logstash、Kibana三个开源软件的组合，在实时数据检索和分析场合，三者通常是配合共用的。 可参考:https://www.elastic.co/pro ...
分类：
其他好文 时间：
2017-02-10 17:50:26
阅读次数：
685
III26ELKELK（elasticsearch、logstash、kibana）ElasticStack是原ELKStack在5.0版本加入Beats套件后的新称呼解决痛点：开发人员不能登录线上server查看详细日志；各个系统都有日志，日志数据分散难以查找；日志数据量大，查询速度慢，或数据不够实时；一个调用会涉及多个系统..
分类：
其他好文 时间：
2016-12-30 22:26:49
阅读次数：
578
新版插件:说明:从5.0开始,插件都独立拆分成gem包,每个插件可独立更新,无需等待Logstash自身整体更新,具体管理命令可参考./bin/logstash-plugin--help帮助信息../bin/logstash-pluginlist其实所有的插件就位于本地./vendor/bundle/jruby/1.9/gems/目录下扩展:如果GitHub上面(htt..
分类：
其他好文 时间：
2016-12-19 22:20:18
阅读次数：
284
