因日志产生多了，或者数据多了，导致硬盘满了，没及时清理。 elasticsearch 在程序连接后，提示无法连接问题。 解决： 1、清理掉多余日志。或文件信息。 2、修改索引，让其能够重新写入。 其中： 索引名称 china_index 用户名密码 ，没有的情况下可以不写 -u elastic:el ...
一、概述 1.Flume是Apache提供的开源的、分布式的、可靠的日志收集系统 2.能够有效的收集、聚合、传输大量的日志数据 3.flume有2个版本：flume-og(flume09x)和flume-ng(flume1.x)，flume-og和flume-ng不兼容 二、基本概念 1.Event ...
分类：
Web程序 时间：
2020-06-28 15:19:31
阅读次数：
62
ELKR 概述 ELK(R) = Elasticsearch + Logstash + Kibana (+ Redis) 是一套完整的工业级日志分析工具。 Elasticsearch 是整个日志分析系统的核心，它负责对日志数据进行分析、索引等重要工作； Logstash 则主要用于对日志数据进行初步 ...
分类：
其他好文 时间：
2020-06-26 18:13:31
阅读次数：
74
安装logstash 第一步：下载 wget https://artifacts.elastic.co/downloads/logstash/logstash-7.6.1.tar.gz 第二步：解压即安装 tar -zxvf logstash-7.6.1.tar.gz 第三步：启动，并测试标准输入和 ...
分类：
系统相关 时间：
2020-06-25 14:11:19
阅读次数：
259
elk系统logstash日志处理端使用lvs做的负载均衡，端口监控发现logstash节点因为最大文件数到达限制挂了一台，lvs不知道后端的logstash挂了。看告警虚拟IP恢复是因为转发到正常的节点了，端口监控后续就一直告警波动恢复告警--！，因为lvs没有移除故障节点，处理不及时，丢的数据就多了。这边用利用ssh免密做的监控，后端RealServer不能禁止lvs禁止访问22端口，lvs定
分类：
其他好文 时间：
2020-06-22 19:11:06
阅读次数：
82
数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
1. 下载软件包 cd /usr/local/elk/ # 先导航到要存放的目录下 wget https://artifacts.elastic.co/downloads/logstash/logstash-7.7.1.tar.gz # 下载 tar -xzf logstash-7.7.1.tar. ...
分类：
其他好文 时间：
2020-06-19 16:27:53
阅读次数：
243
各种叫法 是否ES、ElasticSearch、ELK... 这一套发家于ElasticSearch, 后来加入了Logstash + Kibana（简称ELK） 后来又加入了Beats，为了避免以后有更多部分的加入引起起名尴尬，改叫Elastic Stack Elastic Stack=Elast ...
分类：
其他好文 时间：
2020-06-19 13:38:06
阅读次数：
45
一、Elasticsearch 搭建 这里三个都选用 6.4.2版本 docker pull elasticsearch:6.4.2 docker run -d --name es -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" e ...
分类：
其他好文 时间：
2020-06-18 14:39:03
阅读次数：
60
本篇主要介绍如何在CentOS环境下部署Elasticsearch，以及部署过程中遇到的一些问题，仅供参考 CentOS IP:192.168.182.129 部署过程 cd /usr/local/ # 导航到指定目录 mkdir elk # 创建文件夹 cd elk # 导航到刚创建的elk文件夹 ...
分类：
其他好文 时间：
2020-06-17 01:35:22
阅读次数：
172
