flink 读JDQ和写JDQ的流程

时间：2019-10-12 11:06:54 阅读：106 评论：0 收藏：0 [点我收藏+]

ReadFromJDQ3

1）消费JDQ的必要信息，通过参数传入，有6个参数

2）获取flink JDQ3的鉴权客户端

3）根据鉴权客户端获取消费属性的配置

4）构建应用环境ENV和checkpoint机制

5）构建JDQ3（基于kafka）对应的消费客户端，flink用来消费实时订单消息

6) 根据自己的业务构建计算DAG

7）打印Stream流打印到标准输出，触发job执行

WriteToJDQ3

1) 生产JDQ的必要信息，通过参数传入，有5个参数

2）获取Flink JDQ3的鉴权客户端

3）根据鉴权客户端获取生产属性配置(已设置必要连接信息)

4）构建应用环境ENV和checkpoint机制

5）构建JDQ3（基于kafka）对应的生产客户端，flink用于生产数据

6）根据自己的业务构建计算DAG

7）写数据到JDQ3，触发job执行

消费JDQ2.0，然后将数据写入ES1.x
用flink计算实时特征，然后写入ES

原文地址：https://www.cnblogs.com/Allen-rg/p/11659964.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

周排行