码迷,mamicode.com
首页 > 编程语言 > 详细

Java+Spark 实现 flatMapToPair 的lambda函数时遇到的问题及解决方法

时间:2017-12-25 21:00:27      阅读:534      评论:0      收藏:0      [点我收藏+]

标签:javap   atm   detail   var   map   iterator   conf   gpo   color   

今天使用Java+Spark 实现 flatMapToPair 的lambda函数,代码如下:

JavaPairRDD<String, String> extractSessionsRDD = time2SessionsRDD.flatMapToPair(tuple->{
    List<Tuple2<String, String>> extractSessionids = new ArrayList<>();
    // ...
    return extractSessionids;
});

结果报错:

no instance(s) of type variable(s) K2,V2 so that List<Tuple2<String,String>> conforms to Iterator<Tuple2<String,String>>

上网查了下原因,是因为spark 2.0以上要求返回一个Iterator的实例。

于是修改代码如下(标红),错误就消失了。

JavaPairRDD<String, String> extractSessionsRDD = time2SessionsRDD.flatMapToPair(tuple->{
    List<Tuple2<String, String>> extractSessionids = new ArrayList<>();
    // ...
    return extractSessionids.iterator();
});

记录一下,备忘。

参考:http://blog.csdn.net/t1dmzks/article/details/70234272

 

Java+Spark 实现 flatMapToPair 的lambda函数时遇到的问题及解决方法

标签:javap   atm   detail   var   map   iterator   conf   gpo   color   

原文地址:https://www.cnblogs.com/cauwt/p/java_spark_2_flatMapToPair.html

(0)
(1)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!