一、logstash结合kafka收集系统日志和nginx日志 架构图: 环境准备: A主机:kibana、elasticsearch,有条件可以将两个服务器分开:192.168.7.100 B主机:logstash主机:192.168.7.101/nginx服务器也在此主机上 C主机:logsta ...
分类:
其他好文 时间:
2020-03-23 09:48:02
阅读次数:
54
一、zookeeper介绍: ZooKeeper是一个分布式且开源的分布式应用程序协调服务。 zookeeper集群特性:整个集群种只要有超过集群数量一半的zookeeper工作只正常的,那么整个集群对外就是可用的,假如有2台服务器做了一个zookeeper集群,只要有任何一台故障或宕机,那么这个z ...
分类:
其他好文 时间:
2020-03-23 09:36:42
阅读次数:
73
一、logstash结合redis收集系统日志 架构图: 环境准备: A主机:elasticsearch主机 IP地址:192.168.7.100 B主机:logstash主机 IP地址:192.168.7.102 C主机:redis主机 IP地址:192.168.7.103 D主机:logstas ...
分类:
其他好文 时间:
2020-03-22 15:50:50
阅读次数:
67
实战一:通过Logstash收集tomcat服务器的日志 1、配置JDK环境 1、解压JDK包,创建软链接 [root@tomcat-web1 src]# tar xvf jdk-8u212-linux-x64.tar.gz [root@tomcat-web1 src]# ln -sv /usr/l ...
分类:
编程语言 时间:
2020-03-21 14:57:13
阅读次数:
116
filebeat.inputs: - type: docker containers.ids: - 'b77cea34ab4512727a1ae5e14073640c286dcd13d030cb114a9e6befead05a3b' setup.kibana: hosts: ["xx.xx.xxx. ...
分类:
其他好文 时间:
2020-03-17 10:16:39
阅读次数:
164
专注Java相关技术:SSM、Spring全家桶、微服务、MySQL、集群、dubbo、分布式、中间件、Linux、网络、多线程、Jenkins、Nexus、Docker、ELK等等! ...
分类:
数据库 时间:
2020-03-13 18:20:22
阅读次数:
74
1.到官网下载对应的版本注意最好使用版本相同的3个软件 elasticsearch-6.8.7.rpm kibana-6.8.7-x86_64.rpm logstash-6.8.7.rpm 我这里使用6.8.7版本的rpm包直接安装,基本注意事项:防火墙,firewall,等关闭,java环境注意修 ...
分类:
其他好文 时间:
2020-03-09 11:57:06
阅读次数:
58
功能远超Sqoop、DataX、Flume、Logatash、Filebeat等采集工具深知其他组件的局限性,才能彰显DBus的优越感当前有很多数据采集工具(Sqoop、DataX、Flume、Logatash、Filebeat等),他们或多或少都存在一些局限性。一个共性问题是缺乏统一的数据源端管控,所以也就无法找到统一的数据入口,那后续处理元数据或者血缘分析会异常困难。除此之外,现有各种数据采集
分类:
数据库 时间:
2020-03-05 19:28:19
阅读次数:
110
es做日志存储 filebeat做日志收集 kibana做显示 步骤:1,wget filebeat,解压; 2.filebeat.yml+ fields.yml ,前者配置日志的收集配置; filebeat.yml,里面的9202是跳板机的es的开放端口 filebeat.inputs:- typ ...
分类:
其他好文 时间:
2020-03-04 09:36:36
阅读次数:
86