RDD算子调优 不废话，直接进入正题！ 1. RDD复用 在对RDD进行算子时，要避免相同的算子和计算逻辑之下对RDD进行重复的计算，如下图所示： 对上图中的RDD计算架构进行修改，得到如下图所示的优化结果： 2. 尽早filter 获取到初始RDD后，应该考虑尽早地过滤掉不需要的数据，进而减少对内 ...
分类：
其他好文 时间：
2021-03-06 14:22:58
阅读次数：
0
今天给大家分享第四范式在推荐系统大规模特征工程与Spark基于LLVM优化方面的实践，主要包括以下四个主题。大规模推荐系统特征工程介绍SparkSQL与FESQL架构设计基于LLVM的Spark性能优化推荐系统与Spark优化总结大规模推荐系统特征工程介绍推荐系统在新闻推荐、搜索引擎、广告投放以及最新很火的短视频App中都有非常广阔的应用，可以说绝大部分互联网企业和传统企业都可以通过推荐系统来提升
分类：
数据库 时间：
2020-07-14 09:27:20
阅读次数：
72
Spark性能优化指南——高级篇 2016年05月12日 作者: 李雪蕤 文章链接 23095字 47分钟阅读 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 ...
分类：
其他好文 时间：
2020-05-11 23:20:20
阅读次数：
91
Shuffle基本流程 spark shuffle从总体来讲分成两部分，shuffle write和shuffle reader，如下图所示，看到这里，就明白了为什么spark性能优化的时候建议宁可broadcast也不要shuffle，broadcast好歹还是内存操作，网络上大一点压力（每个节点... ...
分类：
其他好文 时间：
2020-01-19 09:27:09
阅读次数：
63
一：Spark的性能优化，主要手段包括：1、使用高性能序列化类库2、优化数据结构3、对多次使用的RDD进行持久化 / Checkpoint4、使用序列化的持久化级别5、Java虚拟机垃圾回收调优6、提高并行度7、广播共享数据8、数据本地化9、reduceByKey和groupByKey的合理使用10 ...
分类：
其他好文 时间：
2019-10-27 22:29:23
阅读次数：
59
技术点：RDD的join操作可能产生数据倾斜，当两个RDD不是非常大的情况下，可以通过Broadcast的方式在reduce端进行类似（Join）的操作： broadcast是进程级别的，只读的。 broadcast 可以适用于小表的广播，通过广播到对应节点的内存中（受blockManager的管理 ...
分类：
其他好文 时间：
2019-09-26 00:12:48
阅读次数：
124
1. Spark 基础 2. Spark Core 3. Spark SQL 4. Spark Streaming 5. Spark 内核机制 6. Spark 性能调优 1. Spark 基础 1.1 Spark 中的相应组件 1.2 Standalone 模式安装 1.2.1 提交应用程序概述 ...
分类：
其他好文 时间：
2019-06-23 01:11:03
阅读次数：
88
1. 常规性能调优 一：最优资源配置 Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。 --driver-memory 配置Driver内存（影响不大） 内存大小影响不大 资 ...
分类：
其他好文 时间：
2019-04-26 09:24:02
阅读次数：
106
石杉老师讲要从以下几个方面去优化Spark的性能，其中Shuffle调优是重点。 下面是与调优相关的几篇不错的博客，以供参考 官网的调优 https://spark.apache.org/docs/latest/tuning.html 序列化 https://stackoverflow.com/qu ...
分类：
其他好文 时间：
2019-04-07 22:11:46
阅读次数：
185
1.Shark Shark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎，由于底层的计算采用了Spark，性能比MapReduce的Hive普遍快2倍以上，当数据全部load在内存的话，将快10倍以上，因此Shark可以作为交互式查询应用服务来使用。除了基于Spark的特性外，Sha ...
分类：
数据库 时间：
2019-03-03 19:09:32
阅读次数：
221
