即将推出的Apache Spark 2.4有什么新功能

标签：一个   支持   win   pyspark   lis   简化   2.4   streaming   Spark2   

本文来自于2018年09月19日在 Adobe Systems Inc 举行的 Apache Spark Meetup。

即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本。 本文对 Apache Spark 2.4 的主要功能和增强功能进行了概述。

• 新的调度模型（Barrier Scheduling），使用户能够将分布式深度学习训练恰当地嵌入到 Spark 的 stage 中，以简化分布式训练工作流程。

• 添加了35个高阶函数，用于在 Spark SQL 中操作数组/map。

• 新增一个新的基于 Databricks 的 spark-avro 模块的原生 AVRO 数据源。

• PySpark 还为教学和可调试性的所有操作引入了热切的评估模式（eager evaluation mode）。

• Spark on K8S 支持 PySpark 和 R ，支持客户端模式（client-mode）。

• Structured Streaming 的各种增强功能。 例如，连续处理（continuous processing）中的有状态操作符。

• 内置数据源的各种性能改进。 例如，Parquet 嵌套模式修剪（schema pruning）。

• 支持 Scala 2.12。

点击 示说网 ，即可下载此PPT。

本文来自示说网smilegator主页 ，全文地址请点击：https://www.slidestalk.com/s/20180919WhatsNewinUpcomingApacheSpark24final78282

即将推出的Apache Spark 2.4有什么新功能

标签：一个   支持   win   pyspark   lis   简化   2.4   streaming   Spark2   

原文地址：https://www.cnblogs.com/slidestalk/p/9718116.html