如何在Elasticsearch中安装中文分词器(IK+pinyin) 如果直接使用Elasticsearch的朋友在处理中文内容的搜索时,肯定会遇到很尴尬的问题——中文词语被分成了一个一个的汉字,当用Kibana作图的时候,按照term来分组,结果一个汉字被分成了一组。 这是因为使用了Elasti ...
分类:
其他好文 时间:
2016-11-25 01:09:56
阅读次数:
467
最近工作需要,开始研究ES,当前ES的最新版本为5.0.1,从之前的2.x的版本号一下升级到5.x,主要是之前Elastic的产品版本号因为收购等原因很乱,ES 2.X版本的和Kibana 4.x版本的配套使用,让人感觉不爽。这下一步到位,所有的产品系列版本号都从5.0开始,这样,5.0的ES就和5 ...
分类:
其他好文 时间:
2016-11-25 00:50:11
阅读次数:
258
ELK其实并不是一款软件,而是一整套解决方案,是三个开源软件Elasticsearch,Logstash和Kibana。 Elasticsearch是一个实时的分布式搜索和分析引擎,它可以用于全文搜索以及分析。它是一个建立在全文搜索引擎ApacheLucene基础上的搜索引擎,便用java语言编写。 ...
分类:
其他好文 时间:
2016-11-24 06:51:05
阅读次数:
295
选择需求分类废话少说直接上图 第一张图: 2.此图搭配的日志格式是: log_format main '$remote_addr - $remote_user [$time_local] $http_host $request_method "$uri" "$query_string" ' '$st ...
分类:
其他好文 时间:
2016-11-20 23:08:04
阅读次数:
488
由于直接复制粘贴有问题,所以给出链接: http://note.youdao.com/share/?id=6dfb1f03240e156c1db4a56c85e3b6db&type=note#/ 参考URL:http://www.cnblogs.com/xing901022/p/5259750.ht ...
分类:
其他好文 时间:
2016-11-18 11:56:50
阅读次数:
147
待处理日志格式如下:[totalCount: 298006556, count: 287347623, queryCount: 259027994, exeCount: 28319629, total...
分类:
其他好文 时间:
2016-11-18 00:25:12
阅读次数:
160
初探ELK-使用geoip插件来制作可视化的地图2016/11/17一、前提
1、本次操作是在前述文章的基础上添砖加瓦。
2、思路
1)通过logstash将clientip识别成geoip.location等数据
2)然后更新ES的模版,标记geoip.location这个properties的type为geo_point
3)最后在kibana上选择"Visu..
分类:
其他好文 时间:
2016-11-17 21:19:50
阅读次数:
1208
在实际的项目中需要对线上日志做实时分析跟统计,这一套方案可以用现有的ELK(ElasticSearch, Logstash, Kibana)方案既可以满足,关于这个方案的具体的步骤可以参考网上的解决方案。但如果只想统计某个错误码(http状态码,业务错误码)在指定时间内出现多少次然后就触发一个告警或 ...
分类:
其他好文 时间:
2016-11-17 07:46:34
阅读次数:
432
排查logstash2.4升级到5.0版本后kafka不兼容问题参考文档:/usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-5.0.5/CHANGELOG.md
/usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-5.0.5/DEVELOPER.md
/usr/share/logstash/vend..
分类:
其他好文 时间:
2016-11-17 02:23:18
阅读次数:
384
Elasticsearch、Fluentd与Kibana:开源的日志搜索与可视化方案提供:ZStack社区 前言Elasticsearch、Fluentd与Kibana的组合(EFK)可以进行日志数据...
分类:
其他好文 时间:
2016-11-14 12:54:31
阅读次数:
198