一、对多次使用的RDD进行持久化 如何选择一种最合适的持久化策略？ 默认情况下，性能最高的当然是MEMORY_ONLY，但前提是你的内存必须足够足够大， 可以绰绰有余地存放下整个RDD的所有数据。因为不进行序列化与反序列化操作，就避 免了这部分的性能开销;对这个RDD的后续算子操作，都是基于纯内存中 ...
分类：
其他好文 时间：
2020-02-28 14:18:23
阅读次数：
60
Application任务执行流程: 在Spark Application提交后，Driver会根据action算子划分成一个个的job，然后对每一 个job划分成一个个的stage，stage内部实际上是由一系列并行计算的task组成的，然后 以TaskSet的形式提交给你TaskSchedule ...
分类：
其他好文 时间：
2020-02-28 13:56:43
阅读次数：
49
导读目录 第一节：sparksql 1：简介 2：核心 3：与hive整合 4：dataFrame 5：函数 第二节：spark Streaming 1：对比strom 2：DStream的算子 3：代码 4：driver HA 5：读取数据 第三节：spark调优 第一节：sparksql （1） ...
分类：
数据库 时间：
2020-01-09 20:46:58
阅读次数：
91
spark on yarn 的执行过程在 yarn RM 上无法直接查看，即 http://192.168.10.10:8088，这对于调试程序很不方便，所以需要手动配置 配置方法 1. 配置 spark-defaults.conf cp spark-defaults.conf.template s ...
分类：
Web程序 时间：
2019-12-14 18:50:53
阅读次数：
174
Spark调优 写在前面 对于调优, 我觉得是没有放之四海而皆准的办法. 很多时候, 调优显得没有必要, 即使不进行调优, 程序也能够顺利执行. 在没有出现问题的时候, 不进行调优, 即使是在大数据中, 这也是我常常采用的原则. 并且, 针对问题再进行调优, 往往是更为合适的. 比如, 明明资源充足 ...
分类：
其他好文 时间：
2019-10-04 12:59:18
阅读次数：
85
RDD的持久化是spark优化中必须掌握的，并且，在内存不足的情况下，我们可以将持久化类型选择为MEMORY_ONLY_SER，减少内存的占用，持久化更多的partition，并且不同的序列化方法也会影响序列化性能。
下面，我们就来测试下，持久化级别和序列化方法的选择对RDD持久化大小的影响。
分类：
其他好文 时间：
2019-05-19 20:38:16
阅读次数：
188
【使用场景】 两个RDD进行join的时候，如果数据量都比较大，那么此时可以sample看下两个RDD中的key分布情况。如果出现数据倾斜，是因为其中某一个RDD中的少数几个key的数据量过大，而另一个RDD中的所有key都分布比较均匀，此时可以考虑采用本解决方案。 【解决方案】 【方案优点】 对于 ...
分类：
其他好文 时间：
2019-03-26 01:19:15
阅读次数：
442
【使用场景】 对RDD使用join类操作，或者是在Spark SQL中使用join语句时，而且join操作中的一个RDD或表的数据量比较小（例如几百MB或者1~2GB），比较适用此方案。。 【解决方案】 小表join大表转为小表broadcast+map大表实现。具体为： 普通的join是会shuf ...
分类：
其他好文 时间：
2019-03-24 10:02:41
阅读次数：
515
【使用场景】 对RDD执行reduceByKey等聚合类shuffle算子或者在Spark SQL中使用group by语句进行分组聚合时，经过sample或日志、界面定位，发生了数据倾斜。 【解决方案】 局部聚合+全局聚合，进行两阶段聚合。具体为： 将原本相同的key通过附加随机前缀的方式，变成多 ...
分类：
其他好文 时间：
2019-03-23 00:18:20
阅读次数：
180
【业务场景】 在Spark的统计开发过程中，肯定会遇到类似小维表join大业务表的场景，或者需要在算子函数中使用外部变量的场景（尤其是大变量，比如100M以上的大集合），那么此时应该使用Spark的广播（Broadcast）功能来提升性能。 【原理说明】 在算子函数中使用到外部变量或两表join时， ...
分类：
其他好文 时间：
2019-03-21 01:06:28
阅读次数：
180
