标签：ati 不同 类型 溢出 简单 spark性能 net 聚合 创建
1、调节reduce端缓冲区大小避免OOM异常
1.1 为什么要调节reduce端缓冲区大小
对于map端不断产生的数据，reduce端会不断拉取一部分数据放入到缓冲区，进行聚合处理；
当map端数据特别大时，reduce端的task拉取数据是可能全部的缓冲区都满了，此时进行reduce聚合处理时创建大量的对象，导致OOM异常；
1.2 如何调节reduce端缓冲区大小
当由于以上的原型导致OOM异常出现是，可以通过减小reduce端缓冲区大小来避免OOM异常的出现
但是如果在内存充足的情况下，可以适当增大reduce端缓冲区大小，从而减少reduce端拉取数据的次数，提供性能。
//调节reduce端缓存的大小(默认48M) conf.set("spark.reducer.maxSizeInFlight", "24");
2、解决JVM GC导致的shuffle文件拉取失败
2.1 问题描述
下一个stage的task去拉取上一个stage的task的输出文件时，如果正好上一个stage正处在full gc的情况下（所有线程后停止运行），它们之间是通过netty进行通信的，就会出现很长时间拉取不到数据，此时就会报shuffle file not found的错误；但是下一个stage又重新提交task就不会出现问题了。
2.2 如何解决
调节最大尝试拉取次数：spark.shuffle.io.maxRetries 默认为3次
调节每次拉取最大的等待时长：spark.shuffle.io.retryWait 默认为5秒
//调节拉取文件的最大尝试次数(默认3次) conf.set("spark.shuffle.io.maxRetries", "60"); //调节每次拉取数据时最大等待时长(默认为5s) conf.set("spark.shuffle.io.retryWait", "5s");
3、yarn队列资源不足导致application直接失败
3.1 问题描述
如果yarn上的spark作业已经消耗了一部分资源，如果现在再提交一个spark作业，可能会出现以下两个情况：第一、发现yarn资源不足，直接打印fail的log,直接就失败；第二、发现yarn资源不足，该作业就一直处于等待状态，等待分配资源执行。
3.2 如何解决
如果发生了上面的第一种问题，可以通过以下方式解决
方法一：限制同一时间内只有一个spark作业提交到yarn上，确保spark作业的资源是充足的（调节同一时间内每个spark能充分使用yarn的最大资源）。
方法二：将长时间的spark作业和短时间的spark作业分别提交到不同的队列里（通过线程池的方式实现）。
4、序列化导致的错误
4.1 问题描述
如果日志信息出现了Serializable、Serialize等错误信息
4.2 如何解决
4.2.1 如果算子函数中使用到外部的自定义的变量，自定义类型需要实行Serializable接口
4.2.2 如果RDD中使用到自定义的数据类型，自定义类型需要实行Serializable接口
4.2.3 以上两种情况的类型，不能使用第三方提供的没有实现Serializable接口的类型
5、算子函数返回NULL导致的错误
5.1 问题描述
有些算子函数需要有返回值，但是有些数据，就是不想返回任何数据，此时如果返回NULL,可能会导致错误。
5.2 如何解决
先返回一个固定的值，之后进行过滤掉指定的数据即可。
6、yarn-cluster模式的JVM内存溢出无法执行的问题
5.1 问题描述
有些spark作业，在yarn-client模式下是可以运行的，但在yarn-cluster模式下，会报出JVM的PermGen(永久代)的内存溢出，OOM.
出现以上原因是：yarn-client模式下，driver运行在本地机器上，spark使用的JVM的PermGen的配置，是本地的默认配置128M；
但在yarn-cluster模式下，driver运行在集群的某个节点上，spark使用的JVM的PermGen是没有经过默认配置的，默认是82M，故有时会出现PermGen Out of Memory error log.
5.2 如何处理
在spark-submit脚本中设置PermGen
--conf spark.driver.extraJavaOptions="-XX:PermSize=128M -XX:MaxPermSize=256M"(最小128M，最大256M)
如果使用spark sql，sql中使用大量的or语句，可能会报出jvm stack overflow,jvm栈内存溢出，此时可以把复杂的sql简化为多个简单的sql进行处理即可。
7、checkpoint的使用
7.1 checkpoint的作用
默认持久化的Rdd会保存到内存或磁盘中，下次使用该Rdd时直接冲缓存中获取，不需要重新计算；如果内存或者磁盘中文件丢失，再次使用该Rdd时需要重新进行。
如果将持久化的Rdd进行checkpoint处理，会把内存写入到hdfs文件系统中，此时如果再次使用持久化的Rdd，但文件丢失后，会从hdfs中获取Rdd并重新进行缓存。
7.2 如何使用
首先设置checkpoint目录
//设置checkpoint目录 javaSparkContext.checkpointFile("hdfs://hadoop-senior.ibeifeng.com:8020/user/yanglin/spark/checkpoint/UserVisitSessionAnalyzeSpark");
将缓存后的Rdd进行checkpoint处理
//将缓存后的Rdd进行checkpoint sessionRowPairRdd.checkpoint();
标签：ati 不同 类型 溢出 简单 spark性能 net 聚合 创建
原文地址：http://www.cnblogs.com/lifeone/p/6473035.html
