首先： ELK 是 Elasticsearch、Logstash、Kibana开源软件的集合，对外是作为一个日志管理系统的开源方案，它可以从任何来源、任何格式进行日志搜索、分析与可视化展示。 Logstash：日志收集工具，可以从本地磁盘，网络服务（自己监听端口，接受用户日志），消息队列中收集各种各 ...
分类：
编程语言 时间：
2021-07-12 18:25:34
阅读次数：
0
1. 日志文件格式包含以下四列： 事件时间 | 发生事件的服务器的主机名 | 产生事件的服务名或程序名 | 事件的具体信息 2. /etc/rsyslog.conf 配置文件 # 服务名称 [连接符号] 日志等级 日志记录位置 authpriv.* /var/log/auth.log # 认证相关服 ...
分类：
系统相关 时间：
2021-07-06 16:25:48
阅读次数：
0
第八章 日志管理 一日志文件对于诊断和解决系统中的问题很有帮助，因为Linux内核和运行迚程通常会把系统消息和错误消息写入相应的日志文件，默认日志文件存储在/var/log目录中，日志内容可用于系统审计和故障排除。RHEL 7的日志系统基于syslog协议，许多程序使用此系统记录事件，并将记录消息整 ...
分类：
其他好文 时间：
2021-06-20 18:30:34
阅读次数：
0
需求分析 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去 结构示意图： 根据需求，首先定义以下3大要素 数据源组件，即source ——监控文件目录 : spooldir spooldir特性： 1、监视一个目录，只要目录中出现新文件，就会采集 ...
分类：
Web程序 时间：
2021-06-20 17:55:46
阅读次数：
0
一、SpringBoot如何使用Slf4j日志 springboot是默认使用slf4j进行日志管理的，所以集成也比较方便。 1、添加依赖 （1）spring-boot-starter-web依赖，用于自动导入日志框架的依赖 <dependency> <groupId>org.springframe ...
分类：
编程语言 时间：
2021-06-19 18:54:19
阅读次数：
0
MySQL 支持丰富的日志类型，如下： 事务日志：transaction log 事务日志的写入类型为"追加"，因此其操作为"顺序IO"；通常也被称为：预写式日志 write ahead logging 事务日志文件： ib_logfile0， ib_logfile1 错误日志 error log ...
分类：
数据库 时间：
2021-05-24 15:37:46
阅读次数：
0
方案一：手动拷贝需要的相关jar包 flume对接HBASE报错，找不到相关的类： 报错hbase相关日志： 18 五月 2021 17:25:50,633 ERROR [lifecycleSupervisor-1-2] (org.apache.flume.lifecycle.LifecycleSu ...
分类：
Web程序 时间：
2021-05-24 15:18:47
阅读次数：
0
日志管理 在 /var/log lastlog 命令查看用户最后一次登录情况 案例 cat secure 查看登录的安全信息 时间 主机名 事件或服务或程序 事件信息描述 日志管理服务 rsyslogd ps -aux | grep rsyslogd | -v grep (-v反向匹配，) syst ...
分类：
系统相关 时间：
2021-05-24 13:40:41
阅读次数：
0
学习过得技术 HDFS YARN MR HIVE HBASE SPARK SPARK(sparkCore、sparkSql、sparkStreaming) HDFS 数据库管理、 存磁盘 Ha模式(在zookeeper之上) 联邦机制(把大象装进冰箱) split切片 Hbase 列式数据库 半结构 ...
分类：
其他好文 时间：
2021-04-05 12:37:34
阅读次数：
0
大数据技术板块划分 数据采集 flume kafka logstash filebeat ... 数据存储 mysql redis hbase hdfs ... 虽然mysql不属于大数据范畴 但是我在这也列出来了，因为你在工作中离不开它 数据查询 hive impala elasticsearch ...
分类：
其他好文 时间：
2021-03-17 14:04:41
阅读次数：
0
