1 1:监控端口数据官方案例 2 vim flume-netcat-logger.conf 3 添加内容如下： 4 # Name the components on this agent 5 a1.sources = r1 6 a1.sinks = k1 7 a1.channels = c1 8 9 ...
分类：
其他好文 时间：
2020-05-20 14:27:35
阅读次数：
74
1 导入pom依赖 2 <dependencies> 3 <dependency> 4 <groupId>org.apache.flume</groupId> 5 <artifactId>flume-ng-core</artifactId> 6 <version>1.7.0</version> 7 ...
分类：
其他好文 时间：
2020-05-20 14:03:09
阅读次数：
60
主要是利用命令envsubst能实现变量的替换并生成新得配置文件以及docker命令行的变量输入等。 本次实验主要是编写flume镜像，并在容器启动(docker run)时动态修改配置文件并启动，并向flume发数据，然后发给kafka。 此实验的基础： 会dockerfile的编写，熟悉flum ...
分类：
其他好文 时间：
2020-05-15 17:44:38
阅读次数：
237
一、flume是什么 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 flume的架构： flume的组成架构： 二、flume的组件介绍 1、Agent Agent是一个JVM进程，它以事件的形式将数据从源头送至 ...
分类：
Web程序 时间：
2020-05-14 00:59:14
阅读次数：
91
1、微信公众平台开发 开发设置 扫普通链接二维码打开小程序 添加 2、配置二维码规则 根据二维码跳转规则，开发者需要填写需要跳转小程序的二维码规则。要求如下： 二维码规则的域名须通过ICP备案的验证。 支持http、https、ftp开头的链接（如：http://wx.qq.com、https:// ...
分类：
微信 时间：
2020-05-13 12:33:59
阅读次数：
290
1 package com.bawei.stream 2 3 import java.net.InetSocketAddress 4 5 import org.apache.spark.storage.StorageLevel 6 import org.apache.spark.streaming. ...
分类：
Web程序 时间：
2020-05-05 18:21:50
阅读次数：
79
1 package com.spark_sql 2 3 import java.util.Properties 4 import org.apache.spark.sql.{DataFrame, SparkSession} 5 6 object DataFromMysql { 7 def main( ...
分类：
数据库 时间：
2020-05-02 11:31:58
阅读次数：
63
一、Flume的官方网站在哪里？ http://flume.apache.org/ 二、Flume部署与测试 2.1 JDK安装 解压： tar zxvf jdk 7u55 linux x64.gz 2.2 Flume安装 安装包下载网址： apache flume 1.5.0 bin.tar.gz ...
分类：
Web程序 时间：
2020-05-02 00:07:48
阅读次数：
72
什么是Flume 个人理解是个 分布式的日志传输工具 Flume的组件 Agent agent就是一个启动的flumejvm进程，负责数据流的传输 agent可以定义多个组件，常用的是source，channel，sink source source负责数据源的对接，根据数据源的类型不同，需要使用不 ...
分类：
Web程序 时间：
2020-05-01 23:56:41
阅读次数：
116
Jmeter+Ant+Jenkins自动化测试框架的搭建步骤可以参考以下文章，写的很详细。 https://www.cnblogs.com/wulixia/p/11011793.html 环境搭建好之后，我想每次buid完成后把本次测试的结果通过邮件发出来，邮件配置的步骤可以参考这篇文章https: ...
分类：
其他好文 时间：
2020-04-23 19:09:26
阅读次数：
92
