SparkStreaming找不到reduceByKey的解决方法

标签：scala、隐式转换、spark streaming、reducebykey

    今天写了一个SparkStreaming的测试代码，简单的测试流式读取HDFS中的文件，然后统计WordCount。代码如下：

package com.company.scala.lk

import org.apache.spark.streaming._

/**
 * Created by kai on 15/1/14.
 */
object SparkStreamingTest {
  def loadFile(): Unit = {
    val ssc = new StreamingContext("yarn-client", "streaming test", Seconds(15))
    val fileStreaming = ssc.textFileStream("/user/kai")
    val rs = fileStreaming.flatMap(_.split("\t")).map(w => (w, 1)).reduceByKey(_ + _).print()
    ssc.start()
    ssc.awaitTermination()
  }

  def main(args: Array[String]) {
    loadFile()
  }
}

IDE里面提示找不到“reduceByKey”方法，但是官方资料里说是有该方法的。当时怀疑是不是Spark的版本太低了，然后各种版本确认之后也没发现问题（我用的Spark1.2.0版本），一时无解。

    没办法，上网查吧，最后在Spark的mailing list中找到线索：

http://mail-archives.apache.org/mod_mbox/spark-user/201402.mbox/%3CCAMwrk0mN-Q=c970+Sa7JnBZHUPRRN_YZHkMHqQYb6jLFw2pmsA@mail.gmail.com%3E

原来是缺少“import StreamingContext._”，Scala会将DStream隐式转换成PairDStreamFunctions，该类中有K/V数据类型相关的函数，例如groupByKey、reduceByKey、join等。

查看Spark的源代码，在StreamingContext文件中找到如下代码：

  implicit def toPairDStreamFunctions[K, V](stream: DStream[(K, V)])
      (implicit kt: ClassTag[K], vt: ClassTag[V], ord: Ordering[K] = null) = {
    new PairDStreamFunctions[K, V](stream)
  }

可以看到，上面的隐式转换函数会将DStream转换为PairDStreamFunctions。

隐式转换函数需要额外import，否则无法正常转换。

可以直接import转换函数：

import org.apache.spark.streaming.StreamingContext.toPairDStreamFunctions

或者import org.apache.spark.streaming.StreamingContext._

本文出自 “RunningMan” 博客，请务必保留此出处http://running8.blog.51cto.com/2687882/1603894

SparkStreaming找不到reduceByKey的解决方法

标签：scala、隐式转换、spark streaming、reducebykey

原文地址：http://running8.blog.51cto.com/2687882/1603894