1. 如果 Spark 中 CPU 的使用率不够高，可以考虑为当前的程序分配更多的 Executor， 或者增加更多的 Worker 实例来充分的使用多核的潜能 2. 适当设置 Partition 分片数是非常重要的，过少的 Partition 分片数可能会因为每个 Partition 数据量太大而 ...
分类：
其他好文 时间：
2018-01-19 20:22:58
阅读次数：
167
解决方法： 将driver_executor和executor_memory调大，调节原则：使用的资源有多大，就尽量去调节到最大的大小。 2、spark汇聚数据到hbase失败 解决办法： hive.Context.setConf("parquet.memory.min.chunk.size","1 ...
分类：
其他好文 时间：
2018-01-19 11:48:21
阅读次数：
1625
[Spark性能调优] Spark Shuffle 中 JVM 内存使用及配置详情 本课主题 JVM 內存使用架构剖析 Spark 1.6.x 和 Spark 2.x 的 JVM 剖析 Spark 1.6.x 以前 on Yarn 计算内存使用案例 Spark Unified Memory 的运行原 ...
分类：
其他好文 时间：
2017-12-24 21:27:40
阅读次数：
231
开发调优篇 原则一：避免创建重复的RDD 通常来说，我们在开发一个Spark作业时，首先是基于某个数据源（比如Hive表或HDFS文件）创建一个初始的RDD；接着对这个RDD执行某个算子操作，然后得到下一个RDD；以此类推，循环往复，直到计算出最终我们需要的结果。在这个过程中，多个RDD会通过不同的 ...
分类：
其他好文 时间：
2017-12-13 20:00:01
阅读次数：
196
Spark性能优化的10大问题及其解决方案 近期优化了一个spark流量统计的程序，此程序跑5分钟小数据量日志不到5分钟，但相同的程序跑一天大数据量日志各种失败。经优化，使用160 vcores + 480G memory，一天的日志可在2.5小时内跑完，下面对一些优化的思路方法进行梳理。 近期优化 ...
分类：
其他好文 时间：
2017-12-13 19:43:01
阅读次数：
227
一、数据倾斜发生的原理 原理：在进行shuffle的时候，必须将各个节点上相同的key拉取到某个节点上的一个task来进行处理，比如按照key进行聚合或join等操作。此时如果某个key对应的数据量特别大的话，就会发生数据倾斜。数据倾斜只会发生在shuffle过程中。常用的并且可能会触发shuffl ...
分类：
其他好文 时间：
2017-10-31 20:16:39
阅读次数：
213
转https://tech.meituan.com/spark-tuning-basic.html spark作业原理 使用spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的Driver进程。根据你使用的部署模式（deploy-mode）不同，Driver进程可能在本地启 ...
分类：
其他好文 时间：
2017-09-20 16:40:29
阅读次数：
145
在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源 ...
分类：
其他好文 时间：
2017-08-30 18:23:17
阅读次数：
153
原创文章，转载请务必将下面这段话置于文章开头处。本文转发自技术世界，原文链接 http://www.jasongj.com/spark/skew/ 摘要 本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案，包括避免数据源倾斜，调整并行度，使用自定义Partitioner，使用Map ...
分类：
其他好文 时间：
2017-08-15 11:24:14
阅读次数：
343
调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。 数据倾斜发生时的现象 1、绝大多数task执行得都非常快，但个别task执行极慢。比如，总共 ...
分类：
其他好文 时间：
2017-08-02 00:30:57
阅读次数：
183
