Flume、Logstash、Filebeat对比 日志采集工具对比 1、Flume简介 Flume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。每一个agent相当于一个数据传递员，内部有三个组件： ...
分类：
Web程序 时间：
2020-07-15 23:42:18
阅读次数：
161
1.flume连接mysql驱动包准备 进入链接下载源码https://github.com/keedio/flume-ng-sql-source现在最新是1.5.3解压， 进入到目录中编译 直接编译可能报错，跳过test mvn package -DskipTests 2.flume与kafka, ...
分类：
数据库 时间：
2020-07-15 23:28:07
阅读次数：
166
1、flume日志收集架构如下 2、解压安装包，修改文件夹名称，配置环境变量 tar -zxvf apache-flume-1.6.0-bin.tar.gz export FLUME_HOME=/soft/flume export PATH=$PATH:$FLUME_HOME/bin 修改conf下 ...
分类：
Web程序 时间：
2020-07-10 18:37:36
阅读次数：
66
因工作需要，需要在windos服务器上安装多个zabbix_agent，使用不同得配置文件，不同得端口，不同得版本 一、第一个zabbix_agent客户端 1.下载zabbix_agent-4.2.1-windows-amd64.zip压缩包，解压后，创建logs目录 2.更改配置文件（Logfi ...
定制语音代理（智能体）的背后是什么？ What’s behind the move to custom voice agents? 自动化是未来的发展方向。生活在一个现在的时代，希望所有的事情都能迅速得到回答、实现和接受。尽管有了这种根本性的转变，许多人并不接受技术。对一些人来说，这与生活方式有关： ...
分类：
其他好文 时间：
2020-07-09 12:05:24
阅读次数：
72
技巧 1、查看flume的metrics，确定每个flume节点数据是否被接收以及发送： {"SOURCE.src-1":{"OpenConnectionCount":"0", //目前与客户端或sink保持连接的总数量(目前只有avro source展现该度量)"Type":"SOURCE","A ...
分类：
Web程序 时间：
2020-07-08 15:23:06
阅读次数：
101
Linux部分 ①列举你使用的常用指令？ ②怎么查看服务是否开启？后面的参数都是什么意思？ ③怎么查看服务器内存使用情况？ ④日志查看指令？ ⑤跨机房怎么传输文件？ Hadoop部分 ①怎么搭建一个Hadoop集群？ ②Hadoop的Shuffer机制？ ③切片概念？文件256M时，几个切片？ ④M ...
分类：
其他好文 时间：
2020-07-08 13:03:03
阅读次数：
59
一.简单实现 需求：根据 flume 监控 exec 文件的追加数据，写入 kafka 的 test-demo 分区,然后启用 kafka-consumer 消费 test-demo 分区数据。 需求分析 1）flume的配置文件 在hadoop102上创建flume的配置文件 # define a ...
分类：
Web程序 时间：
2020-07-07 23:22:58
阅读次数：
79
Agent的配置文件最好根据Flume的拓扑架构，依次写好每个节点的配置文件； 一.Agent 开头都是先要定义agent，sorce，channel，sink名 # Name the components on this agent（ 描述这个Agent，给各个组件取名字） a1.sources ...
分类：
Web程序 时间：
2020-07-06 01:18:20
阅读次数：
133
一.Flume定义 ? Flume是Cloudera公司提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 ? Flume最主要的作用就是，实时读取服务器的本地磁盘的数据，将数据写入到HDFS。 二.Flume基础架构 ? Flume基本组成架构如下 ...
分类：
Web程序 时间：
2020-07-03 23:51:14
阅读次数：
112
