码迷,mamicode.com
首页 > Web开发 > 详细

即将推出的Apache Spark 2.4有什么新功能

时间:2018-09-28 14:43:45      阅读:245      评论:0      收藏:0      [点我收藏+]

标签:一个   支持   win   pyspark   lis   简化   2.4   streaming   Spark2   

本文来自于2018年09月19日在 Adobe Systems Inc 举行的 Apache Spark Meetup。

即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本。 本文对 Apache Spark 2.4 的主要功能和增强功能进行了概述。

  • 新的调度模型(Barrier Scheduling),使用户能够将分布式深度学习训练恰当地嵌入到 Spark 的 stage 中,以简化分布式训练工作流程。

  • 添加了35个高阶函数,用于在 Spark SQL 中操作数组/map。

  • 新增一个新的基于 Databricks 的 spark-avro 模块的原生 AVRO 数据源。

  • PySpark 还为教学和可调试性的所有操作引入了热切的评估模式(eager evaluation mode)。

  • Spark on K8S 支持 PySpark 和 R ,支持客户端模式(client-mode)。

  • Structured Streaming 的各种增强功能。 例如,连续处理(continuous processing)中的有状态操作符。

  • 内置数据源的各种性能改进。 例如,Parquet 嵌套模式修剪(schema pruning)。

  • 支持 Scala 2.12。

 

点击 示说网 ,即可下载此PPT。

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

本文来自示说网smilegator主页 ,全文地址请点击:https://www.slidestalk.com/s/20180919WhatsNewinUpcomingApacheSpark24final78282

即将推出的Apache Spark 2.4有什么新功能

标签:一个   支持   win   pyspark   lis   简化   2.4   streaming   Spark2   

原文地址:https://www.cnblogs.com/slidestalk/p/9718116.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!