flume伪分布式安装: 1、导包:apache-flume-1.7.0-bin.tar.gz 2、配置环境变量:/etc/profile export FLUME_HOME=/yang/apache-flume-1.7.0-bin export PATH=$PATH:$FLUME_HOME/bin ...
分类:
Web程序 时间:
2019-02-21 12:57:44
阅读次数:
233
2019/2/16星期六大数据领域技术总体介绍(各个组件的作用)1、大数据技术介绍大数据技术生态体系:Hadoop元老级分布式海量数据存储、处理技术系统,擅长离线数据分析Hbase基于hadoop的分布式海量数据库,离线分析和在线业务通吃Hivesql基于hadoop的数据仓库工具,使用方便,功能丰富,使用方法类似SQLZookeeper集群协调服务Sqoop数据导入导出工具Flume数据采集框架
分类:
其他好文 时间:
2019-02-17 09:17:32
阅读次数:
201
翻译自官网flume1.8用户指南,原文地址:Flume 1.8.0 User Guide 一、 介绍 1. 概述 Apache Flume 是收集、汇总和移动大数据量的不同数据源到集中的数据仓库的分布式的、可靠的、可用的系统。 使用flume 不仅仅可以做日志收集。自从数据源可自定义,flume可 ...
分类:
Web程序 时间:
2019-01-28 17:41:31
阅读次数:
262
前言:最近有些浮躁,大环境变化无常,这种情况下唯有学习才是王道,好吧,开始学习flume! 一、Flume简介 Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。 Flume 初始的发行版本目前被统称为 Flume OG(original generation) ...
分类:
Web程序 时间:
2019-01-28 00:46:44
阅读次数:
187
需求:做一个windows服务,实现从ftp服务器实时下载或者更新文件到本地磁盘。 功能挺简单的。直接写个ftp工具类用定时器跑就能搞定,那我为什么不用呢? 别问,问就是我无聊啊,然后研究一下Flume打发时间。哈哈~ 一、Flume部分 Source组件和Sink组件用的都是第三方。 source ...
agent选择 agent1 exec source + memory channel + avro sink agent2 avro source + memory channel 模拟实际工作中的场景,agent1 为A机器,agent2 为B机器。 avro source: 监听avro端口, ...
分类:
Web程序 时间:
2019-01-27 14:37:21
阅读次数:
239
1.问题场景 Centos7 做flume案例时,telnet hadoop-senior03.itguigu.com 44444 总是Connection redused, Trying 192.168.10.22...telnet: connect to address 192.168.10.2 ...
分类:
其他好文 时间:
2019-01-25 16:03:20
阅读次数:
287
在完成单点的Flume NG搭建后,下面我们搭建一个高可用的Flume NG集群,架构图如下所示: (1)节点分配 Flume的Agent和Collector分布如下表所示: 名称 Ip地址 Host 角色 Agent1 192.168.200.101 Itcast01 WebServer Coll ...
分类:
其他好文 时间:
2019-01-23 00:25:43
阅读次数:
234
需求:AB两台日志服务器实时生产日志主要类型为access.log、nginx.log、web.log,现在要求:把A、B机器中的access.log、nginx.log、web.log采集汇总到C机器上然后统一收集到hdfs中,但是在hdfs中要求的目录为: /source/logs/access/日期/** /source/logs/nginx/日期
分类:
Web程序 时间:
2019-01-17 17:43:30
阅读次数:
208
1.flume的基础介绍(1)常用的数据收集工具 -Chukwa(Apache) -Scribe(Facebook) -Fluentd:Fluentd使用C/Ruby开发,使用JSON文件来统一日志数据。 -Logstash(著名的开源数据栈ELK(ElasticSearch,Logstash,Kibana)中
分类:
Web程序 时间:
2019-01-17 14:09:05
阅读次数:
215