error: not found: value sc

标签：ast   readme.md   127.0.0.1   pre   erro   修改   value   问题   app   

【问题】

解压spark的tar包后，执行bin/spark-shell，执行val lines=sc.textFile("README.md")时，抛错error: not found: value sc

【解决办法】

这是因为shell启动时没有初始化sparkContext，修改conf/spark-env.sh文件，添加如下内容：

export SPARK_LOCAL_IP="127.0.0.1"

再次启动bin/spark-shell，这是会看到如下信息，代表spark context已经被初始化了，现在可以正常执行命令了。

Spark context Web UI available at http://127.0.0.1:4040
Spark context available as ‘sc‘ (master = local[*], app id = local-1477366425671).
Spark session available as ‘spark‘.

error: not found: value sc

标签：ast   readme.md   127.0.0.1   pre   erro   修改   value   问题   app   

原文地址：http://www.cnblogs.com/puroc/p/5996145.html