1 导入pom依赖 2 <dependencies> 3 <dependency> 4 <groupId>org.apache.flume</groupId> 5 <artifactId>flume-ng-core</artifactId> 6 <version>1.7.0</version> 7 ...
分类：
其他好文 时间：
2020-05-20 14:03:09
阅读次数：
60
所有文章 https://www.cnblogs.com/lay2017/p/12901123.html 正文 NIO的管道（Pipe）是一种打通两个线程之间数据传输的一种方式。Pipe包含两个channel： 1）Source Channel 2）Sink Channel 你可以向SinkChan ...
分类：
编程语言 时间：
2020-05-19 10:29:37
阅读次数：
71
本文摘自书籍《Flink基础教程》 一、一致性的三种级别 当在分布式系统中引入状态时，自然也引入了一致性问题。一致性实际上是“正确性级别”的另一种说法，即在成功处理故障并恢复之后得到的结果，与没有发生任何故障时得到的结果相比。在流处理中，一致性分为 3 个级别。 at-most-once：数据最多被 ...
分类：
其他好文 时间：
2020-05-06 22:08:07
阅读次数：
113
什么是Flume 个人理解是个 分布式的日志传输工具 Flume的组件 Agent agent就是一个启动的flumejvm进程，负责数据流的传输 agent可以定义多个组件，常用的是source，channel，sink source source负责数据源的对接，根据数据源的类型不同，需要使用不 ...
分类：
Web程序 时间：
2020-05-01 23:56:41
阅读次数：
116
一、Source 代码地址：https://gitee.com/nltxwz_xxd/abc_bigdata 1.1、flink内置数据源 1、基于文件 env.readTextFile("file://path") env.readFile(inputFormat, "file://path"); ...
分类：
其他好文 时间：
2020-04-24 21:42:02
阅读次数：
85
一、KafkaSink 1、按流内容分发到对应topic，隔天自动切换 在flink自带的kafka sink实现里，只支持写到固定topic，而我们的kafka2kafka日志处理逻辑要求消息要按照ds字段值写入到对应topic，topic名前缀相同，后面跟ds字段值，需要进行改造 具体实现思路如 ...
分类：
其他好文 时间：
2020-04-22 19:44:07
阅读次数：
183
# Flume 监控文本文件sink到kafka a1.sources = r1a1.sinks = k1a1.channels = c1 # Describe/configure the source a1.sources.r1.type = execa1.sources.r1.command = ...
分类：
Web程序 时间：
2020-04-15 18:06:21
阅读次数：
74
1，依赖与配置 1pom.xml 2，配置文件相关内容，这里使用系统默认的两个管道，output 和 input 分别对应 Source 和 Sink 两个接口 2，代码部分 1，作为数据的实体类，注意需要实现 Serializable 接口 2，消费者监听 3，封装发送消息的生产者 4，测试的 控 ...
分类：
编程语言 时间：
2020-04-13 14:09:26
阅读次数：
94
参考：https://mohsinkhalid.com/2018/03/22/solution-cant-see-w3wp-exe-process-to-attach-for-debugging-d365-code/ ...
分类：
系统相关 时间：
2020-04-03 00:42:54
阅读次数：
85
问题描述： 通过堆排序，从小到大排序一个数组。 算法实现： public static void heapSort(int[] arr) { int N = arr.length - 1; for(int i = arr.length / 2 - 1; i >= 0; i--) { sink(arr ...
分类：
编程语言 时间：
2020-03-31 12:47:06
阅读次数：
67
