eBay的數(shù)據(jù)處理框架Accelerator提供并行執(zhí)行和自動(dòng)組織源代碼、輸入數(shù)據(jù)及計(jì)算結(jié)果的功能。它可以用于數(shù)據(jù)分析、算法開(kāi)發(fā)，以及擁有大型數(shù)據(jù)文件和多個(gè)CPU的實(shí)時(shí)推薦系統(tǒng)。它也有助于管理和記錄數(shù)據(jù)文件、計(jì)算、計(jì)算結(jié)果和它們之間相互關(guān)系。

eBay的團(tuán)隊(duì)最近開(kāi)源了Accelerator框架。Accelerator最初是由瑞典AI公司Expertmaker于2012開(kāi)發(fā)。eBay在2016年收購(gòu)了Expertmaker。

該框架用于處理像事物日志、事件日志和數(shù)據(jù)庫(kù)轉(zhuǎn)儲(chǔ)這樣的日志文件。Accelerator是基于C/S的應(yīng)用程序。它的架構(gòu)包括一個(gè)“runner”客戶端和兩個(gè)名為“daemon”和“urd”的服務(wù)器。

runner程序運(yùn)行在daemon服務(wù)器上執(zhí)行作業(yè)的腳本(稱為構(gòu)建腳本，build scripts)。該服務(wù)器將加載并存儲(chǔ)執(zhí)行的所有作業(yè)的信息和計(jì)算結(jié)果。同時(shí)，所有作業(yè)將由urd服務(wù)器存儲(chǔ)到作業(yè)日志文件系統(tǒng)數(shù)據(jù)庫(kù)中。

Urd服務(wù)器把作業(yè)和它們的依賴項(xiàng)一起存儲(chǔ)在基于日志文件的數(shù)據(jù)庫(kù)中。所有在構(gòu)建腳本中發(fā)生的事情都可能被記錄到Urd中。

數(shù)據(jù)集是Accelerator的默認(rèn)存儲(chǔ)類型，專為并行處理和高性能而設(shè)計(jì)的。

數(shù)據(jù)集構(gòu)建于作業(yè)之上，因此，數(shù)據(jù)集通過(guò)各種方法創(chuàng)建并存儲(chǔ)在作業(yè)目錄中，就像任何一個(gè)作業(yè)結(jié)果一樣。單個(gè)作業(yè)也許包含任意數(shù)目的數(shù)據(jù)集，因此可以把一個(gè)輸入數(shù)據(jù)集分成若干個(gè)新數(shù)據(jù)集。

該Accelerator的關(guān)鍵特性是重用計(jì)算結(jié)果和數(shù)據(jù)流。如果一項(xiàng)作業(yè)已經(jīng)存在，Accelerator將不再構(gòu)建此項(xiàng)作業(yè)。這節(jié)省了執(zhí)行時(shí)間，并有助于在用戶之間共享計(jì)算結(jié)果。它還提供了可見(jiàn)性并確保了確定性。數(shù)據(jù)流有助于處理連續(xù)的數(shù)據(jù)塊，比在數(shù)據(jù)庫(kù)里執(zhí)行查詢更有效率。流式傳輸是實(shí)現(xiàn)從硬盤到CPU高帶寬的最佳途徑，可以很好地利用操作系統(tǒng)基于RAM的硬盤緩沖區(qū)。

Accelerator內(nèi)存占用很小，可以在筆記本電腦或機(jī)架式服務(wù)器上運(yùn)行。在開(kāi)源之前，像Safeway、星巴克、eBay和Vodafone這樣的公司已經(jīng)把它運(yùn)用于項(xiàng)目中了。

它獲得了Apache 2.0許可授權(quán)。如果您有興趣了解更多關(guān)于ExpertMaker Accelerator的信息，請(qǐng)查閱Github存儲(chǔ)庫(kù)、安裝存儲(chǔ)庫(kù)和用戶參考手冊(cè)。

閱讀英文原文：eBay's Accelerator Data Processing Framework Provides Parallel Execution and Live Recommendations

標(biāo)簽： 代碼 服務(wù)器 服務(wù)器存儲(chǔ) 腳本 數(shù)據(jù)分析 數(shù)據(jù)庫(kù)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。