Databricks最近正式發(fā)布了 MLflow 與 Databrick 筆記本集成，面向其數(shù)據(jù)工程和高級(jí)訂閱。該集成將 MLflow 的特性與 Databrick 筆記本和作業(yè)的特性結(jié)合起來(lái)。最初，在 2018 年 6 月，Databricks 將 MLflow 作為一個(gè)開(kāi)源項(xiàng)目編寫(xiě)，并且一直可以作為單獨(dú)的命令行工具使用。
 

MLflow 提供了以下三個(gè)主要特性：試驗(yàn)跟蹤、項(xiàng)目和 MLflow 模型。這些特性中的每一個(gè)都可以使用或不使用 Databricks 在線服務(wù)。當(dāng)與 Databricks 集成或不集成時(shí)，這些特性有不同的表現(xiàn)方式。

MLflow 試驗(yàn)跟蹤需要一個(gè)位置存儲(chǔ) MLflow 執(zhí)行過(guò)程。MLflow 命令行工具有一個(gè)內(nèi)置的跟蹤服務(wù)器，可以在其中存儲(chǔ)執(zhí)行過(guò)程，并且 MLflow 可以使用本地文件系統(tǒng)存儲(chǔ)執(zhí)行過(guò)程。MLflow 命令行工具的用戶負(fù)責(zé)維護(hù)執(zhí)行過(guò)程的存儲(chǔ)。Databrick 提供了一個(gè)與 Databrick 筆記本集成的試驗(yàn)跟蹤服務(wù)器，從而使用戶不必自己管理跟蹤。此外，每次記錄試驗(yàn)的一次運(yùn)行時(shí)，Databrick 都會(huì)存儲(chǔ)一個(gè)版本的筆記本。最后，Databricks 提供了一個(gè)用戶界面來(lái)研究 MLflow 試驗(yàn)和執(zhí)行過(guò)程，類(lèi)似于獨(dú)立 UI，可以通過(guò) MLflow 命令行工具訪問(wèn)。

MLflow 提供了一種結(jié)構(gòu)化的配置驅(qū)動(dòng)的方式，可以將可重復(fù)執(zhí)行的代碼視為項(xiàng)目。MLflow 通過(guò)包含適當(dāng)?shù)呐渲梦募��?Git 存儲(chǔ)庫(kù)轉(zhuǎn)換為項(xiàng)目，并支持以下環(huán)境：Conda、Docker 或系統(tǒng)環(huán)境。Databricks 增加了在 Databrick 集群上將項(xiàng)目作為作業(yè)運(yùn)行的能力。用戶需要首先在他們的 Databricks 帳戶中創(chuàng)建一個(gè)試驗(yàn)，然后用戶可以從 MLflow 命令行針對(duì) Databrick 作業(yè)和試驗(yàn)運(yùn)行一個(gè)項(xiàng)目。

MLflow 將模型存儲(chǔ)為試驗(yàn)中運(yùn)行的構(gòu)件。Databrick 試驗(yàn)允許為存儲(chǔ)大型模型的試驗(yàn)指定外部存儲(chǔ)。可以使用 MLflow API 從 Databrick 筆記本或作業(yè)中恢復(fù)特定執(zhí)行過(guò)程中的模型。然后，用戶可以在筆記本中使用恢復(fù)的模型，使用 Apache Spark UDF 進(jìn)行預(yù)測(cè)，或者將模型部署到AWS Sagemaker和Microsoft Azure ML等外部服務(wù)上。

Databricks 首席技術(shù)專(zhuān)家 Matei Zaharia宣布了 MLflow 1.0 版本中的兩個(gè)新特性：多步工作流和模型注冊(cè)表。聲明中展示了這些特性，其中有一個(gè)用戶界面，可以用于可視化多步工作流，然后注冊(cè)生成的模型。模型注冊(cè)之后，可以通過(guò)一個(gè)新的用戶界面部署和跟蹤模型。

查看英文原文：Databricks MLflow Integration Now Generally Available

標(biāo)簽： [db:TAGG]

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。