基本搭建： 1）解压下载的flume（安装jdk1.6及其以上） 2）在conf文件夹里面建立example.conf文件 3)启动flume 4）新建窗口运行 5）在该窗口输入，另一个窗口会输出记录 flume对接不同的数据源 1、Avro Source 监听AVRO端口来接受来自外部AVRO客户 ...
分类：
Web程序 时间：
2019-05-20 17:17:44
阅读次数：
450
本文介绍flume读取kafka数据的方法 代码： /******************************************************************************* * Licensed to the Apache Software Foundatio ...
分类：
Web程序 时间：
2019-05-19 12:22:50
阅读次数：
139
1.监控端口数据： flume启动： 参数说明： --conf conf/ ：表示配置文件存储在conf/目录 --name a1 ：表示给agent起名为a1 --conf-file job/flume-telnet.conf ：flume本次启动读取的配置文件是在job文件夹下的flume-te ...
分类：
Web程序 时间：
2019-05-18 09:34:03
阅读次数：
214
先把flume包上传并解压 给flume创建一个软链接 给flume配置环境变量 使环境变量生效 验证flume版本信息 然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME 先用一个最简单的例子来测试一下程序环境是否正常 先在flume的conf目录下新 ...
分类：
Web程序 时间：
2019-05-16 17:56:50
阅读次数：
148
Apache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving large amounts of log data from many d ...
分类：
Web程序 时间：
2019-05-13 12:39:39
阅读次数：
131
1、flume的特点： flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 flume的数据流由事件(Event)贯穿始终 ...
分类：
Web程序 时间：
2019-05-13 12:38:20
阅读次数：
125
大数据数据仓库-基于大数据体系构建数据仓库（Hive，Flume，Kafka，Azkaban，Oozie，SparkSQL） ...
分类：
数据库 时间：
2019-05-12 13:36:39
阅读次数：
163
一.大数据组件分类: 1.计算类: hadoop,spark,flink,hive 2.传输类:kafka,flume,redis 3.存储类:hbase,mongodb,Cassandra 4.调度类:zookeeper 5.配置类:mesos,yarn 二.流行的框架SMACK Spark Me ...
分类：
其他好文 时间：
2019-05-10 20:21:59
阅读次数：
160
1.下载Flume源码并导入Idea开发工具 1）将apache-flume-1.7.0-src.tar.gz源码下载到本地解压 2）通过idea导入flume源码 打开idea开发工具，选择File——》Open 然后找到flume源码解压文件，选中flume-ng-hbase-sink，点击ok ...
分类：
Web程序 时间：
2019-05-10 16:34:53
阅读次数：
226
一、定义agent，并运行1、配置文件#计划##收集hive的日志，存到hdfs/opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/logs/hive.log命令：tail -f source：Exec source 在启动时运行一个给定的Unix命令，并期望该进程在标准输出上不... ...
分类：
其他好文 时间：
2019-05-08 14:44:10
阅读次数：
214
