一、flume是什么 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 flume的架构： flume的组成架构： 二、flume的组件介绍 1、Agent Agent是一个JVM进程，它以事件的形式将数据从源头送至 ...
分类：
Web程序 时间：
2020-05-14 00:59:14
阅读次数：
91
1 package com.bawei.stream 2 3 import java.net.InetSocketAddress 4 5 import org.apache.spark.storage.StorageLevel 6 import org.apache.spark.streaming. ...
分类：
Web程序 时间：
2020-05-05 18:21:50
阅读次数：
79
1 package com.spark_sql 2 3 import java.util.Properties 4 import org.apache.spark.sql.{DataFrame, SparkSession} 5 6 object DataFromMysql { 7 def main( ...
分类：
数据库 时间：
2020-05-02 11:31:58
阅读次数：
63
一、Flume的官方网站在哪里？ http://flume.apache.org/ 二、Flume部署与测试 2.1 JDK安装 解压： tar zxvf jdk 7u55 linux x64.gz 2.2 Flume安装 安装包下载网址： apache flume 1.5.0 bin.tar.gz ...
分类：
Web程序 时间：
2020-05-02 00:07:48
阅读次数：
72
什么是Flume 个人理解是个 分布式的日志传输工具 Flume的组件 Agent agent就是一个启动的flumejvm进程，负责数据流的传输 agent可以定义多个组件，常用的是source，channel，sink source source负责数据源的对接，根据数据源的类型不同，需要使用不 ...
分类：
Web程序 时间：
2020-05-01 23:56:41
阅读次数：
116
解压安装包 tar -zvxf apache-flume-1.6.0-bin.tar.gz 添加配置文件 #定义三大组件的名称 ag1.sources = source1 ag1.sinks = sink1 ag1.channels = channel1 # 配置source组件 ag1.sourc ...
分类：
Web程序 时间：
2020-04-18 23:21:34
阅读次数：
152
# Flume 监控文本文件sink到kafka a1.sources = r1a1.sinks = k1a1.channels = c1 # Describe/configure the source a1.sources.r1.type = execa1.sources.r1.command = ...
分类：
Web程序 时间：
2020-04-15 18:06:21
阅读次数：
74
1：在flume/job下配置flume-file-logger.conf配置文件 2：在flume根目录下开启监听（注意，如果当天没有使用hive产生过日志文件的话先操作hive产生当天日志文件） 3：操作hive产生日志文件，查看控制台 ...
分类：
其他好文 时间：
2020-04-12 12:53:11
阅读次数：
150
1。hadoop生态系统 2.Hadoop分布式文件系统 2.1 HDFS的设计 2.2 HDFS的概念 数据块 namenode和datanode HDFS的高可用性 2.3命令行接口 2.4hadoop文件系统 2.5通过Flume和sqoop导入数据 ...
分类：
其他好文 时间：
2020-04-09 15:30:24
阅读次数：
92
创建3台虚拟机 主机为桌面版 其他为迷你版本 ******************************常用命令、进程名称****************************启动集群命令： start-all.sh启动zookeeper： zkServer.sh start 启动journal ...
分类：
Web程序 时间：
2020-04-05 00:40:06
阅读次数：
101
