一：flume复习 1.flume是收集，聚合，移动日志的框架 2.agent: source: //接受数据的，生产者 //netcat //ExecSource实时收集：tail -F xxx.txt //spooldir监控文件夹 //seq //Stress 压力测试 //avroSourc ...
分类：
其他好文 时间：
2018-08-17 22:21:56
阅读次数：
210
Flume – 初识flume、source和sink 目录基本概念常用源 Source常用sink 基本概念 ? 什么叫flume？ 分布式，可靠的大量日志收集、聚合和移动工具。 ? events 事件，是一行数据的字节数据，是flume发送文件的基本单位。 ? flume配置文件 重命名flum ...
分类：
Web程序 时间：
2018-08-13 21:00:40
阅读次数：
264
http://flume.apache.org/ 安装 1、上传 2、解压 3、修改conf/flume-env.sh 文件中的JDK目录 注意：JAVA_OPTS 配置 如果我们传输文件过大 报内存溢出时 需要修改这个配置项 4、验证安装是否成功 ./flume-ng version 5、配置环境... ...
分类：
Web程序 时间：
2018-08-09 13:49:25
阅读次数：
192
1、source为http模式，sink为logger模式，将数据在控制台打印出来。 conf配置文件如下： # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/c ...
分类：
Web程序 时间：
2018-08-08 14:57:25
阅读次数：
240
该文章是基于 Hadoop2.7.6_01_部署 进行的 Flume官方文档：FlumeUserGuide 常见问题：记flume部署过程中遇到的问题以及解决方法（持续更新） 1. 前言 在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、 ...
分类：
Web程序 时间：
2018-08-01 20:42:01
阅读次数：
194
需求背景： 在利用flume进行日志收集的时候，错误信息会将堆栈多行打印，需要将多行信息合并成一行，包装成一个event进行传输。 解决思路： 解决上述需求可以通过自定义拦截器和自定义反序列化器来实现。网上关于自定义拦截器的资料比较多，但考虑到拦截器的定位和使用场景，拦截器不应用于多个event拆分 ...
分类：
Web程序 时间：
2018-07-25 18:59:33
阅读次数：
407
一、前置准备： Linux命令基础 Scala、Python其中一门 Hadoop、Spark、Flume、Kafka、Hbase基础知识 二、分布式日志收集框架Flume 业务现状分析：服务器、web服务产生的大量日志，怎么使用，怎么将大量日志导入到集群 1、shell脚本批量，再传到Hdfs：实 ...
分类：
Web程序 时间：
2018-07-25 18:59:14
阅读次数：
367
