來源：Hadoop技術(shù)博文

本文來自于2018年09月19日在 Adobe Systems Inc 舉行的 Apache Spark Meetup。

即將發(fā)布的 Apache Spark 2.4 版本是 2.x 系列的第五個版本。 本文對 Apache Spark 2.4 的主要功能和增強功能進行了概述。

♦ 新的調(diào)度模型(Barrier Scheduling)，使用戶能夠?qū)⒎植际缴疃葘W(xué)習(xí)訓(xùn)練恰當?shù)厍度氲?Spark 的 stage 中，以簡化分布式訓(xùn)練工作流程。

♦ 添加了35個高階函數(shù)，用于在 Spark SQL 中操作數(shù)組/map。

♦ 新增一個新的基于 Databricks 的 spark-avro 模塊的原生 AVRO 數(shù)據(jù)源。

♦ PySpark 還為教學(xué)和可調(diào)試性的所有操作引入了熱切的評估模式(eager evaluation mode)。

♦ Spark on K8S 支持 PySpark 和 R ，支持客戶端模式(client-mode)。

♦ Structured Streaming 的各種增強功能。 例如，連續(xù)處理(continuous processing)中的有狀態(tài)操作符。

♦ 內(nèi)置數(shù)據(jù)源的各種性能改進。 例如，Parquet 嵌套模式修剪(schema pruning)。

♦ 支持 Scala 2.12。

 

標簽：

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。