码迷,mamicode.com
首页 > 其他好文 > 详细

flink学习

时间:2018-12-26 13:33:31      阅读:120      评论:0      收藏:0      [点我收藏+]

标签:out   tput   个数   另一个   一个   opera   输出   output   inpu   

flink迭代机制

  • Iterate: 普通迭代 ,实现逻辑在Step 函数中, Step的输入是初始的整个数据集, 或者是上一轮迭代的结果。Step函数包含 map、reduce,join等运算组成。例子: 输入为1到5的数字, Step函数为 output = input.map(_ + 1), 迭代终止条件为迭代10次, 那么最后输出结果为11到15的数字

  • Delta Iterate:增量迭代,它有2个输入,其中一个是初始Workset,表示输入待处理的增量Stream数据,另一个是初始Solution Set,它是经过Stream方向上Operator处理过的结果。第一轮迭代会将Step函数作用在初始Workset上,得到的计算结果Workset作为下一轮迭代的输入,同时还要增量更新初始Solution Set。如果反复迭代知道满足迭代终止条件,最后会根据Solution Set的结果,输出最终迭代结果。

flink学习

标签:out   tput   个数   另一个   一个   opera   输出   output   inpu   

原文地址:https://www.cnblogs.com/bregman/p/10178539.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!