一、Flume的官方网站在哪里？ http://flume.apache.org/ 二、Flume部署与测试 2.1 JDK安装 解压： tar zxvf jdk 7u55 linux x64.gz 2.2 Flume安装 安装包下载网址： apache flume 1.5.0 bin.tar.gz ...
分类：
Web程序 时间：
2020-05-02 00:07:48
阅读次数：
72
什么是Flume 个人理解是个 分布式的日志传输工具 Flume的组件 Agent agent就是一个启动的flumejvm进程，负责数据流的传输 agent可以定义多个组件，常用的是source，channel，sink source source负责数据源的对接，根据数据源的类型不同，需要使用不 ...
分类：
Web程序 时间：
2020-05-01 23:56:41
阅读次数：
116
解压安装包 tar -zvxf apache-flume-1.6.0-bin.tar.gz 添加配置文件 #定义三大组件的名称 ag1.sources = source1 ag1.sinks = sink1 ag1.channels = channel1 # 配置source组件 ag1.sourc ...
分类：
Web程序 时间：
2020-04-18 23:21:34
阅读次数：
152
# Flume 监控文本文件sink到kafka a1.sources = r1a1.sinks = k1a1.channels = c1 # Describe/configure the source a1.sources.r1.type = execa1.sources.r1.command = ...
分类：
Web程序 时间：
2020-04-15 18:06:21
阅读次数：
74
1：在flume/job下配置flume-file-logger.conf配置文件 2：在flume根目录下开启监听（注意，如果当天没有使用hive产生过日志文件的话先操作hive产生当天日志文件） 3：操作hive产生日志文件，查看控制台 ...
分类：
其他好文 时间：
2020-04-12 12:53:11
阅读次数：
150
1。hadoop生态系统 2.Hadoop分布式文件系统 2.1 HDFS的设计 2.2 HDFS的概念 数据块 namenode和datanode HDFS的高可用性 2.3命令行接口 2.4hadoop文件系统 2.5通过Flume和sqoop导入数据 ...
分类：
其他好文 时间：
2020-04-09 15:30:24
阅读次数：
92
创建3台虚拟机 主机为桌面版 其他为迷你版本 ******************************常用命令、进程名称****************************启动集群命令： start-all.sh启动zookeeper： zkServer.sh start 启动journal ...
分类：
Web程序 时间：
2020-04-05 00:40:06
阅读次数：
101
学习了这么久hadoop，都没有搭过集群，是不合格的。这次搭建完，细扣具体的Job运行情况，日志信息，对Hadoop了解更深了。后面也要陆续搭建分布式flume,kafka,hbase,mysql来完成最终的离线批处理分析项目。 搭建步骤 1. 虚拟机环境准备(IP地址、主机名、新用户、防火墙、SS ...
分类：
其他好文 时间：
2020-04-04 15:00:32
阅读次数：
81
Flume定义： Flume是Cloudera提供的一个高可用的、高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构， 灵活简单。 为什么选用Flume 主要作用： 实时读取服务器本地磁盘的数据， 将数据写入到HDFS Flume的组织架构 1、最简单的组织架构 2、Flume ...
分类：
Web程序 时间：
2020-04-02 22:33:57
阅读次数：
107
本文目的是根据前文的博文，打造一个Hadoop、Sprak的服务器闭环。也是经验归纳。 版本信息 CentOS: Linux localhost.localdomain 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 ...
分类：
Web程序 时间：
2020-03-31 19:24:58
阅读次数：
204
