spark中saveAsTextFile的错误

标签：

写了很简单的一段spark代码，将结果保存为windows本地文件，执行之后总是报错NullPointerException

查询之后 发现是本地缺少hadoop需要的一个文件所致

如果本地已经安装了hadoop 一般不会有此问题 如果不愿安装 可按照下述方法解决

1）下载需要的文件 winutils.exe

http://social.msdn.microsoft.com/Forums/windowsazure/en-US/28a57efb-082b-424b-8d9e-731b1fe135de/please-read-if-experiencing-job-failures?forum=hdinsight

2) 将此文件放置在某个目录下，比如C:\winutils\bin\中。

3）在程序的一开始声明：System.setProperty("hadoop.home.dir", "c:\\winutil\\")

spark中saveAsTextFile的错误

标签：

原文地址：http://www.cnblogs.com/029zz010buct/p/4680403.html