不同的视频APP可能和不同公司的ADX有股份关系，甚至，有的视频APP做大了，可以用自己的ADX，那从app到ADX的数据可以直接对接，否则就要有合作，然后ADX对接广告投放引擎 广告投放引擎（也就是媒体服务器）对接多个媒体的数据， （从广告投放引擎，怎么将数据Flume到hdfs，这个不清楚） 这 ...
分类：
其他好文 时间：
2020-06-14 23:24:11
阅读次数：
133
Hadoop权威指南 第四版 大数据越来越热。Hadoop技术是大数据技术的基础。 掌握了大数据技术，就意味着可以轻松找到高薪工作。 人工智能、机器学习都是基于大数据。 There are new chapters covering YARN (Chapter 4), Parquet (Chapte ...
分类：
其他好文 时间：
2020-06-13 10:25:14
阅读次数：
618
SinkProcessor共 有 三 种 类 型 ， 分 别 是DefaultSinkProcessor 、LoadBalancingSinkProcessor 和 FailoverSinkProcessor。DefaultSinkProcessor 对 应 的 是 单 个 的 Sink ， Loa ...
分类：
Web程序 时间：
2020-06-08 18:47:07
阅读次数：
80
概念 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 模型 a)Source：采集组件，用于跟数据源对接，以获取数据 b)Sink：下沉组件，用于往下一级agent传递数据或者往最终存储系统传递数据 c)Channel：传输通道组件，用于从source将数据传递到sink ...
分类：
Web程序 时间：
2020-06-07 21:04:35
阅读次数：
67
这几天由于项目的需要，需要将Flume收集到的日志插入到Hbase中，有人说，这不很简单么？Flume里面自带了Hbase sink，可以直接调用啊，还用说么？是的，我在本博客的《Flume-1.4.0和Hbase-0.96.0整合》文章中就提到如何用Flume和Hbase整合，从文章中就看出整个过 ...
分类：
Web程序 时间：
2020-06-04 10:26:08
阅读次数：
83
第1章 Flume概述 1.1 Flume定义 Flume(水槽) 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 在2009年Flume被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flum ...
分类：
Web程序 时间：
2020-05-30 19:56:36
阅读次数：
89
1. InstanceInfoFactory 2. com.netflix.discovery.DiscoveryClient 3. DefaultEurekaServerContext : Initializing ... 4. cluster.PeerEurekaNodes : Adding n ...
分类：
其他好文 时间：
2020-05-26 12:28:39
阅读次数：
68
1 1:监控端口数据官方案例 2 vim flume-netcat-logger.conf 3 添加内容如下： 4 # Name the components on this agent 5 a1.sources = r1 6 a1.sinks = k1 7 a1.channels = c1 8 9 ...
分类：
其他好文 时间：
2020-05-20 14:27:35
阅读次数：
74
1 导入pom依赖 2 <dependencies> 3 <dependency> 4 <groupId>org.apache.flume</groupId> 5 <artifactId>flume-ng-core</artifactId> 6 <version>1.7.0</version> 7 ...
分类：
其他好文 时间：
2020-05-20 14:03:09
阅读次数：
60
主要是利用命令envsubst能实现变量的替换并生成新得配置文件以及docker命令行的变量输入等。 本次实验主要是编写flume镜像，并在容器启动(docker run)时动态修改配置文件并启动，并向flume发数据，然后发给kafka。 此实验的基础： 会dockerfile的编写，熟悉flum ...
分类：
其他好文 时间：
2020-05-15 17:44:38
阅读次数：
237
