写了很简单的一段spark代码，将结果保存为windows本地文件，执行之后总是报错NullPointerException查询之后 发现是本地缺少hadoop需要的一个文件所致如果本地已经安装了hadoop 一般不会有此问题 如果不愿安装 可按照下述方法解决1）下载需要的文件 winutils.e...
分类：
其他好文 时间：
2015-07-27 16:15:46
阅读次数：
173
在该语句之前加上repartition(1)，即写作以下形式：rdd.repartition(1).saveAsTextFile("out.txt")即，之前每个partition保存成一个txt文件，现repartition成一个分区，然后再保存。 注意（未验证）：这个操作对于大文件来说，repa...
分类：
其他好文 时间：
2015-07-09 11:10:20
阅读次数：
306
以一个简单的WordCount代码为例sc.textFile("hdfs://...").flatMap(_.split(" ")).map(_,1).reduceByKey(_+_).map(x => (x._2,x._1)).sortByKey(false).map(x => (x._2,x._1)).saveAsTextFile("hdfs://....")以上代码的作用是读取指定位置的文件，...
分类：
其他好文 时间：
2015-05-15 09:08:38
阅读次数：
304
Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cache、count...
