设置IDEA的auto import 之后,编写Spark应用程序时的一些自动导入情况及其说明。
1.普通类的自动导入
var cnames = new ArrayBuffer[String]() var ips = new ArrayBuffer[String]()直接根据提示alt+enter便可以导入ArrayBuffer类包
2.需要隐式转换
val joinRDD = reqRDD.join(respRDD).map(x
=> (x._2._1, x._2._2)).reduceByKey((x, y) => x)
joinRDD.collect.foreach(println)
此时需要导入语句
import
org.apache.spark.SparkContext._
需要手动导入,个人理解:在这里reduceByKey方法在idea中并不能判断出其属于哪个类,所以idea便不能给出提示需要导入哪个类。
需要先将隐式转换放入作用域,才会对类型进行转换。
原文地址:http://blog.csdn.net/u013361361/article/details/44088459