Apache Spark 是一種與 Hadoop 相似的開源集群計算環(huán)境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負載方面表現得更加優(yōu)越，換句話說，Spark 啟用了內存分布數據集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負載。

2.4.4 版本包含穩(wěn)定性修復的維護版本，內容如下：

• 修復十進制 toScalaBigInt/toJavaBigInteger 表示不適合長的十進制的問題
• 修復 PushProjectionThroughUnion 可空性問題
• 修復 From_Avro 在本地模式下不修改其他行中的變量
• Spark 2.4.3 當 HiveUDAF 遇到 0 行時意外拋出 NPE。與其他版本一樣，修復后返回 NULL
• 修復 PySparkSocket 服務器與 JVM 連接線程的同步
• KafkaOffsetRangeCalculator.getRange 可能會減少偏移量
• 緩存一個不確定的 RDD 會導致在重新運行階段時出現不正確的結果
• Spark 2.2 引入了 LinearSVCModel.setWeightCol 方法，這種方法是不正確的。它在 2.4.4 中被棄用，在 3.0.0 中將被刪除

詳情見說明：

https://spark.apache.org/releases/spark-release-2-4-4.html

標簽： [db:TAGG]

版權申明：本站文章部分自網絡，如有侵權，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯(lián)系。