码迷,mamicode.com
首页 > 其他好文 > 详细

flink的流式wordcount代码解析

时间:2020-05-26 22:09:36      阅读:92      评论:0      收藏:0      [点我收藏+]

标签:org   text   环境   接受   local   print   apache   处理   count   

(1)代码示例

 1 import org.apache.flink.streaming.api.scala._
 2 
 3 object StreamWordCount {
 4   def main(args:Array[String]):Unit={
 5     //创建流处理的执行环境
 6     val env=StreamExecutionEnvironment.getExecutionEnvironment;
 7 
 8     //接受一个socket文本流即创建数据源
 9     val dataStream=env.socketTextStream("localhost",7777);
10 
11     //对每条数据进行处理
12     val wordCountDataStream=dataStream.flatMap(_.split(" "))
13       .filter(_.nonEmpty)
14       .map(line=>(line,1))
15       .keyBy(line=>line._1)
16       .sum(1);
17    //输出结果,可以直接输出也可以将处理的结果存储到外部系统中如kafka
18     wordCountDataStream.print();
19     //flink的操作是惰性的,需要启动executor。
20     env.execute("stream WC job")
21   }
22 }

 

flink的流式wordcount代码解析

标签:org   text   环境   接受   local   print   apache   处理   count   

原文地址:https://www.cnblogs.com/hdc520/p/12968812.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!