官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/6.0/getting-started.html 日志: https://www.elastic.co/guide/en/kibana/6.6/xpack-logs.html 启 ...
分类:
其他好文 时间:
2019-02-07 16:24:57
阅读次数:
186
一、关于elasticsearch、ik、kibana安装包的下载: 1.ik中文分词的下载地址为:https://github.com/medcl/elasticsearch-analysis-ik/releases 查看和下载对应的ik版本 2.elasticsearch、kibana安装包的而 ...
分类:
其他好文 时间:
2019-02-02 00:21:40
阅读次数:
277
公司要求,线上solr、kibana要求只能通过域名进行访问,禁止用ip+端口进行登录访问,那么,下面介绍下我是如何实现的 1、禁止ip,允许域名访问 如下图,默认安装好nginx,不让ip方式访问,但是可以通过域名方式访问: 域名可以访问: 直接贴配置文件:443端口配置一样 cat nginx. ...
分类:
其他好文 时间:
2019-02-01 11:17:56
阅读次数:
1066
logstash输出到mysql logstash版本:6.5.3,确保 JDK 的版本是 1.8 1 安装logstash-output-jdbc /usr/share/logstash/bin/logstash-plugin install logstash-output-jdbc 2 JDBC ...
分类:
数据库 时间:
2019-01-31 01:36:40
阅读次数:
375
Centos7+kafka+ELK6.5.x安装搭建 1 数据的流向 数据源端使用logstash收集udp 514日志输出到kafka中做测试(可选择filebeat,比较轻量级、对CPU负载不大、不占用太多资源;选择rsyslog对 kafka的支持是 v8.7.0版本及之后版本)。如下流程: ...
分类:
其他好文 时间:
2019-01-31 01:30:53
阅读次数:
298
2019/1/30_第1次修改 ccb_warlock 由于开发团队搭建的ELK存在些无法解决的问题,故我选择重新搭了新的ELK来替换有问题的ELK。 在使用了elasticdump迁移数据(5.4.X -> 5.6.14)后,访问kibana看到了报错信息"[illegal_argument_ex ...
分类:
移动开发 时间:
2019-01-30 01:28:36
阅读次数:
405
1 概述 很多系统的日志都会放在 Kibana 供查询,就是所谓的 ELK。Kibana 除了可以使用界面供的一些 tab 或者 button 去筛选日志,也可以在搜索栏中使用 Lucene 的语法简单的交互式查询。可以做基于字段的特定搜索,过滤数据,也可以查看索引号的文档。查询的语法可以参考 官方 ...
分类:
其他好文 时间:
2019-01-28 17:35:19
阅读次数:
295
前言 Elastic Stack 提供 Beats 和 Logstash 套件来采集任何来源、任何格式的数据。其实Beats 和 Logstash的功能差不多,都能够与 Elasticsearch 产生协同作用,而且 logstash比filebeat功能更强大一点,2个都使用是因为:Beats 是 ...
分类:
其他好文 时间:
2019-01-28 13:55:25
阅读次数:
528
需求 kafka中的message带有key,带有相同key值的message后入kafka的意味着更新message,message值为null则意味着删除message。 用logstash来同步kafka中这样的数据入Elasticsearch,从而实现可以同步增删改数据。 环境 解决(Log ...
分类:
其他好文 时间:
2019-01-24 21:54:28
阅读次数:
452
ELK提供了一系列采集方案。但对于从app端过来的日志,没有接收模块。一种方案可以用logstash打开socket端口接收,需要客户端配合。这里提供通过http的方案。接收服务器采用springboot实现收集,发送日志到kafka。也可以直接写文件,用fileBeat读取发送到kafka。从ka ...
分类:
其他好文 时间:
2019-01-24 17:56:53
阅读次数:
128