以一个简单的WordCount代码为例sc.textFile("hdfs://...").flatMap(_.split(" ")).map(_,1).reduceByKey(_+_).map(x => (x._2,x._1)).sortByKey(false).map(x => (x._2,x._1)).saveAsTextFile("hdfs://....")以上代码的作用是读取指定位置的文件，...
分类：
其他好文 时间：
2015-05-15 09:08:38
阅读次数：
304
今天写了一个SparkStreaming的测试代码，简单的测试流式读取HDFS中的文件，然后统计WordCount。代码如下：packagecom.company.scala.lk
importorg.apache.spark.streaming._
/**
*Createdbykaion15/1/14.
*/
objectSparkStreamingTest{
defloadFile():Unit={
valssc=newStrea..
分类：
其他好文 时间：
2015-01-14 18:21:00
阅读次数：
256
参考：http://hadoop.apache.org/docs/r2.5.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.htmlMaven和WordCount代码： ...
分类：
其他好文 时间：
2014-09-03 19:45:17
阅读次数：
270
