1）Source中使用拦截器 kafka_key.sources.sources1.interceptors = i1kafka_key.sources.sources1.interceptors.i1.type = com.bigdata.flume.MyInterceptor$Builder k ...
分类：
Web程序 时间：
2019-12-28 22:35:37
阅读次数：
181
1.画图 数据： Date <- c(0,0.2,0.4,0.6,0.8,1) Agents<-c(0,1,2,3,4,5,6,7,8,9,10) cost_S<-c(11500,11750,12000,12250,12500,12750,13000,13250,13500,13750,14000) ...
分类：
其他好文 时间：
2019-12-27 22:00:51
阅读次数：
150
Flume和 Sqoop Sqoop简介 Sqoop是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具 原理: 将导入或导出命令翻译成Mapreduce程序来实现。 在翻译出的Mapreduce中主要是对InputFormat和OutputFormat ...
分类：
Web程序 时间：
2019-12-21 22:39:42
阅读次数：
187
一、 集群配置 实际生产中，需要配置集群，来配合使用。 需要安装插件 SSH Slaves 在主节点中进行配置 。 在Configure Global Security中开启TCP port for JNLP agents 随机选取或指定端口 在agent 中进行设置，可以指定端口，也可以随机端口。 ...
分类：
其他好文 时间：
2019-12-21 13:39:51
阅读次数：
112
大数据由一系列技术组成，那他们之间的关系是怎么组成的ne，请看下图： hadoop主要做了文件存储系统和提供了一个相对比较弱的mr处理数据的方案 hive是在mr和文件存储系统上面做的升级。 sprak+hbase+hadoop主要解决的是hadoop实时处理数据比较弱的问题 ...
分类：
Web程序 时间：
2019-12-08 10:27:19
阅读次数：
116
Flume is a distributed, reliable（可靠地）, and available service for efficiently（高效地） collecting, aggregating, and moving large amounts of log data. It ha ...
分类：
Web程序 时间：
2019-12-02 23:28:01
阅读次数：
242
本篇将在阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建的基础上搭建。 1 环境介绍 一台阿里云ECS服务器：master 操作系统：CentOS 7.3 Hadoop：hadoop-2.7.3.tar.gz Java: jdk-8u77-linux-x64.tar. ...
分类：
Web程序 时间：
2019-11-23 12:53:35
阅读次数：
85
1、Flume简介 ? (1) Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务，Flume只能在Unix环境下运行。 ? (2) Flume基于流式架构，容错性强，也很灵活简单。 ? (3) Flume、Kafka用来实时进行数据收集，Spark、Flink用来实 ...
分类：
Web程序 时间：
2019-11-22 12:11:59
阅读次数：
201
数据源Source RPC异构流数据交换 Avro Source Thrift Source 文件或目录变化监听 Exec Source Spooling Directory Source Taildir Source MQ或队列订阅数据持续监听 JMS Source SSL and JMS Sou ...
分类：
Web程序 时间：
2019-11-22 10:48:12
阅读次数：
84
Sqoop简介 Sqoop是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具 原理: 将导入或导出命令翻译成Mapreduce程序来实现。 在翻译出的Mapreduce中主要是对InputFormat和OutputFormat进行定制 RDBMS到HD ...
分类：
Web程序 时间：
2019-11-21 21:27:34
阅读次数：
113
