Spark惰性机制引起的：Input path does not exist

标签：inpu   usr   info   执行   span   style   put   问题：   alt   

分析：

val textFile = Sc.textFile(“file///usr/local/spark/...”)加载本地文件，必须以“file：///”开头

Spark的惰性机制：执行上面的命令不会马上显示结果

只有遇到行动类型的操作，才会从头到尾执行所有操作，如：textFile.first()//

从文件中加载数据到变量textFile中，并取出第一行文本。

结论：该目录的文件不存在。

避免此类问题：及时使用textFile.first()检验

Spark惰性机制引起的：Input path does not exist

标签：inpu   usr   info   执行   span   style   put   问题：   alt   

原文地址：https://www.cnblogs.com/daisy99lijing/p/12293777.html