第一次看到Spark崩溃：Spark Shell内存OOM的现象！

标签：spark shell

第一次看到Spark崩溃

Spark Shell内存OOM的现象

要搞Spark图计算，所以用了Google的web-Google.txt，大小71.8MB。

以命令：

val graph = GraphLoader.edgeListFile(sc,"hdfs://192.168.0.10:9000/input/graph/web-Google.txt")

建立图的时候，运算了半天后直接退回了控制台。

界面xian

scala> val graph = GraphLoader.edgeListFile(sc,"hdfs://192.168.0.10:9000/input/graph/web-Google.txt")

[Stage 0:>                                                          (0 + 2) / 2]./bin/spark-shell: line 44:  3592 Killed                  "${SPARK_HOME}"/bin/spark-submit --class org.apache.spark.repl.Main --name "Spark shell" "$@"

第一次看到Spark崩溃：Spark Shell内存OOM的现象！

标签：spark shell

原文地址：http://36006798.blog.51cto.com/988282/1872455