标签：spark execution 分布式应用 应用程序 broadcast
今天看了一篇名为Top 3 Troubleshooting Tips to Keep You Sparking的文章，讲述了一些编写Spark程序需要注意的地方，看完之后想要总结一下。
Spark执行模型，总结为官方的架构图：
本文主要讨论Driver和Worker。
我们知道，对于Spark开发的分布式应用程序，和写普通的scala程序基本类似。所以这时往往会陷入一些误区：
在Spark开发的应用程序的对象里，我给他们分成2类对象：
1、闭包内的对象：即在类似map, filter, reduceByKey这样的闭包内的对象，通常会有一个函数映射。
2、闭包外的对象：反之，即使闭包外的对象。
这2类对象其实是混杂在Driver 和 Worker里的，即并不是所有对象都会随着程序序列化到Worker里。
Summary：
Summary1：对于Spark应用程序，创建在闭包内的对象 和 创建在闭包外的对象的状态是不一样的。
Summary2： 如果强制将一个不支持序列化的对象，放到闭包里，会报异常NotSerializableException
Summary3：闭包内的对象会被序列化到Worker参与计算，闭包外的对象只会存在于Driver里。
Summary3.1 闭包外的对象之存在于Driver内会导致->所有涉及此对象的操作，会在Driver里单线程执行，导致Spark程序非常慢
Summary4：关于异常捕获，如果在Spark Driver程序中对job的异常没有捕捉的话会导致java.lang.IllegalArgumentException: Shuffle Id Nnnn Registered Twice?
解决方案：
1、对于状态不一致，和NotSerializableException这种情况，可以采用序列化自定义对象的方法 和 BroadCast对象的方法。
2、对于异常，尽量捕捉能在并行操作中可以处理的异常。
还有2个问题：
Tip2 Why spark slow的代码例子里JsonParser.parse为什么不报NotSerializableException，是否object声明的对象默认是序列化的？是否伴生对象不能被分发到Worker里，只能在Driver里，Why？
——EOF——
原创文章，转载请注明出自：http://blog.csdn.net/oopsoom/article/details/38389111
标签：spark execution 分布式应用 应用程序 broadcast
原文地址：http://blog.csdn.net/oopsoom/article/details/38389111
