一、ELK部署 1. 安装logstash 1. 解压logstash2.4.0 2. 在解压目录下新建config目录，新建logstash.conf(建配置文件) 3. 配置文件编解内容 4. 启动 nohup ./bin/logstash f config/logstash.conf log. ...
分类：
其他好文 时间：
2020-02-29 18:47:14
阅读次数：
184
利用 Log Pilot + Kafka+Elasticsearch + Kibana 搭建 kubernetes日志解决方案 1、前提条件 已有kafka、elk、k8s集群，这3套集群搭建网上资料很多，这里不写，IP规划如下所示： kafka集群 10.6.11.22:9092 10.6.11. ...
分类：
Web程序 时间：
2020-02-29 13:03:35
阅读次数：
412
主要补充内容： 1.同步多表 2.配置的参数个别说明 3.elasticsearch的"_id"如果有相同的，那么会覆盖掉，相同"_id"的数据只会剩下最后一条。所以还是用数据表中主键自增的id比较好，当然如果有需要也可以自己改变成别的UUID之类的。 elasticsearch默认的"_type" ...
分类：
其他好文 时间：
2020-02-28 18:29:59
阅读次数：
64
Flink 1.10.0 于近期刚发布，释放了许多令人激动的新特性。尤其是 Flink SQL 模块，发展速度非常快，因此本文特意从实践的角度出发，带领大家一起探索使用 Flink SQL 如何快速构建流式应用。 本文将基于 Kafka, MySQL, Elasticsearch, Kibana，使 ...
分类：
数据库 时间：
2020-02-28 16:02:58
阅读次数：
85
一、概述 Elasticsearch是一个开源搜索引擎，以易用性着称。kibana是一个图形界面，可以在上面条件检索存储在ElasticSearch里数据，相当于提供了ES的可视化操作管理器。 fluentd fluentd是一个针对日志的收集、处理、转发系统。通过丰富的插件系统，可以收集来自于各种 ...
分类：
其他好文 时间：
2020-02-28 15:44:01
阅读次数：
80
运行环境 系统版本：CentOS Linux release 7.3.1611 (Core) 软件版本：Kibana 7.1.0 硬件要求：最低2核4GB 安装过程 1、源码安装JDK 1.1、从官网下载源码包 官网下载地址：https://www.oracle.com/technetwork/ja ...
分类：
系统相关 时间：
2020-02-28 15:39:30
阅读次数：
110
com.mysql.jdbc.Driver not loaded. Are you sure you've included the correct jdbc driver in :jdbc_driver_library? https://www.cnblogs.com/Hackerman/p/11 ...
分类：
数据库 时间：
2020-02-27 00:38:38
阅读次数：
178
官方地址：https://github.com/elastic/helm-charts 我用的是helm3安装 1.安装elasticsearch kubectl create ns logs helm repo add elastic https://helm.elastic.co helm pu ...
分类：
其他好文 时间：
2020-02-26 16:51:04
阅读次数：
307
1.资料来源官网，参考： https://www.elastic.co/cn/downloads/elasticsearch https://www.elastic.co/cn/downloads/kibana 2.windows 下安装： 2.1 安装 elasticSearch 下载： 解压 运 ...
分类：
其他好文 时间：
2020-02-25 14:28:11
阅读次数：
50
说明：本文为Windows环境下的相关安装示例，适用于需要用Logstash和Logstash-input-jdbc将数据从数据库导入到Elasticsearch中的场景。 一、前置条件 电脑上安装有JDK8或者以上版本，安装有ElasticSearch，并启动。 二、安装并验证Logstash 1 ...
分类：
数据库 时间：
2020-02-24 13:23:03
阅读次数：
69
