事實(shí)證明，從大數(shù)據(jù)到數(shù)據(jù)分析再到 AI 的轉(zhuǎn)變是一個(gè)很自然的過(guò)程。這不僅是因?yàn)檫@個(gè)過(guò)程有助于調(diào)整人類(lèi)的思維模型，或者因?yàn)榇髷?shù)據(jù)和數(shù)據(jù)分析在被 AI 奪去光彩之前浸淫在 AI 的各種炒作中，主要還是因?yàn)槲覀冃枰�通過(guò)大數(shù)據(jù)來(lái)構(gòu)建 AI。

 

 

AI 走向主流只用了幾年時(shí)間，盡管在很多方面已經(jīng)取得了快速進(jìn)展，但真正了解 AI 的人并不多，能夠掌握 AI 的人就更少了。

2016 年，AI 炒作剛剛開(kāi)始，很多人在提到“AI”一詞時(shí)仍然十分謹(jǐn)慎。畢竟，多年來(lái)我們一直被灌輸要盡量避免使用這個(gè)術(shù)語(yǔ)，因?yàn)檫@些事情已經(jīng)引起了混亂，它們承諾過(guò)度，卻無(wú)法兌現(xiàn)。事實(shí)證明，從大數(shù)據(jù)到數(shù)據(jù)分析再到 AI 的轉(zhuǎn)變是一個(gè)很自然的過(guò)程。

這不僅是因?yàn)檫@個(gè)過(guò)程有助于調(diào)整人類(lèi)的思維模型，或者因?yàn)榇髷?shù)據(jù)和數(shù)據(jù)分析在被 AI 奪去光彩之前浸淫在 AI 的各種炒作中，主要還是因?yàn)槲覀冃枰�通過(guò)大數(shù)據(jù)來(lái)構(gòu)建 AI。

讓我們回顧一下 Big Data Spain(BDS)大會(huì)，它是歐洲最大和最具前瞻性的大會(huì)之一，標(biāo)志著從大數(shù)據(jù)到 AI 的轉(zhuǎn)變，并嘗試回答一些與 AI 相關(guān)的問(wèn)題。

在真正成功之前，我們能先假裝成功嗎?

簡(jiǎn)單地說(shuō)：不行。Gartner 分析成熟度模型的一個(gè)要點(diǎn)是，如果你想構(gòu)建 AI 功能，就必須在可靠的大數(shù)據(jù)基礎(chǔ)上進(jìn)行。

其中一部分是關(guān)于存儲(chǔ)和處理大量數(shù)據(jù)的能力，但這真的只是冰山一角�，F(xiàn)在的技術(shù)解決方案已經(jīng)琳瑯滿(mǎn)目，但要構(gòu)建 AI，你不能忘了人和流程。

更具體地說(shuō)：不要忘了組織中的數(shù)據(jù)素養(yǎng)和數(shù)據(jù)治理。如果你認(rèn)為可以通過(guò)某種方式跨過(guò)數(shù)據(jù)分析的演化鏈在你的組織中開(kāi)發(fā) AI 解決方案，那么請(qǐng)三思。

 

 

Stratio 首席執(zhí)行官 Oscar Mendez 在他的主題演講中強(qiáng)調(diào)，要超越華而不實(shí)的 AI，需要采取整體方法。做好數(shù)據(jù)基礎(chǔ)設(shè)施和數(shù)據(jù)治理，并在此基礎(chǔ)上訓(xùn)練正確的機(jī)器學(xué)習(xí)(ML)模型，這樣可以獲得令人印象深刻的結(jié)果。但這些可以帶給你的好處是有限的，Alexa、Cortana 和 Siri 的日常失誤足以證明這一點(diǎn)。

關(guān)鍵是要具備上下文和推理能力，以便更接近地模擬人類(lèi)智能。并不是 Mendez 一個(gè)人這么認(rèn)為，因?yàn)檫@也是 AI 研究人員同樣持有的觀點(diǎn)，例如深度學(xué)習(xí)領(lǐng)域頂級(jí)的思想家之一 Yoshua Bengio。深度學(xué)習(xí)(DL)在模式匹配方面表現(xiàn)優(yōu)異，數(shù)據(jù)和計(jì)算能力的爆發(fā)讓它在基于模式匹配的任務(wù)中勝過(guò)人類(lèi)。

然而，智能并非只是關(guān)于模式匹配。推理能力不能只通過(guò) ML 方法來(lái)建立——至少現(xiàn)在不行。因此，我們需要整合遠(yuǎn)離炒作的 AI 方法：知識(shí)表示和推理、本體論等。這是我們一直在倡導(dǎo)的，并且看到了它在 BDS 上很受推崇，這是一種正面的肯定。

應(yīng)該將 AI 外包嗎?

簡(jiǎn)單地說(shuō)：也許可以，但應(yīng)該要十分謹(jǐn)慎。我們可以直截了當(dāng)?shù)卣f(shuō)：AI 其實(shí)很難。是的，AI 絕對(duì)應(yīng)該建立在數(shù)據(jù)治理的基礎(chǔ)之上，因?yàn)檫@無(wú)論如何對(duì)你的組織來(lái)說(shuō)都是有好處的。有些組織，比如 Telefonica，通過(guò)執(zhí)行戰(zhàn)略計(jì)劃設(shè)法從大數(shù)據(jù)轉(zhuǎn)向 AI，但這并非易事。

這一點(diǎn)已經(jīng)被一份相當(dāng)可靠的 ML 采用調(diào)查報(bào)告所證實(shí)，超過(guò) 1 萬(wàn) 1 千多個(gè)受訪者參與了這次調(diào)查。來(lái)自 Derwen 的 Paco Nathan 展示了 O’Reilly 的一份調(diào)查的結(jié)果，這或多或少地證實(shí)了我們的想法：采用 AI 和沒(méi)有采用 AI 的組織之間的差距越來(lái)越大。

在 AI 采用頻譜的一邊是谷歌和微軟這樣的領(lǐng)導(dǎo)者：他們將 AI 作為其戰(zhàn)略和運(yùn)營(yíng)的核心要素。他們的資源、數(shù)據(jù)和技術(shù)成為他們領(lǐng)導(dǎo) AI 競(jìng)賽的先決條件。然后是 AI 采用者，他們?cè)谧约旱念I(lǐng)域中應(yīng)用 AI。然后是落后者，他們陷于技術(shù)債務(wù)之中，無(wú)法在 AI 采用方面做出任何有意義的事情。

 

 

從表面上看，AI 領(lǐng)導(dǎo)者提供的產(chǎn)品似乎是在普及“AI”。谷歌和微軟都在 BDS 上展示了這些，他們做了一些演示，在幾分鐘內(nèi)通過(guò)點(diǎn)擊的方式就構(gòu)建出一個(gè)圖像識(shí)別應(yīng)用程序。

很明顯，他們?cè)谙蛭覀儌鬟_(dá)這樣的一個(gè)信息：讓我們來(lái)操心模型和培訓(xùn)的事，你只要專(zhuān)注在你領(lǐng)域內(nèi)的細(xì)節(jié)上。我們可以識(shí)別機(jī)械部件——只需要提供給我們特定的機(jī)械部件就可以了，然后你該干什么干什么去。

谷歌還在 BDS 上發(fā)布了一些新產(chǎn)品：Kubeflow 和 AI Hub。它們背后的想法是編排 ML 管道，類(lèi)似于 Kubernetes 為 Docker 容器提供的應(yīng)用程序。這些并不是唯一能夠帶來(lái)類(lèi)似優(yōu)勢(shì)的產(chǎn)品。它們看起來(lái)有點(diǎn)誘人，但你應(yīng)該使用它們嗎?

誰(shuí)不想直接跳過(guò) AI 這道坎，拿到想要的結(jié)果，而且不需要面對(duì)那么多麻煩?這確實(shí)是一種可以讓你領(lǐng)先于競(jìng)爭(zhēng)對(duì)手的方法。但問(wèn)題是，如果你完全將 AI 外包，那么你就無(wú)法獲得在中長(zhǎng)期內(nèi)自給自足所需的技能。

想想數(shù)字化轉(zhuǎn)型。是的，數(shù)字化、探索技術(shù)和重新設(shè)計(jì)流程也是很難的。并非所有組織都能做到，或者有能力投入足夠的資源，但那些做到的組織現(xiàn)在已經(jīng)跑在了前面。AI 具有類(lèi)似甚至更大的顛覆潛力。因此，可以立即獲得成果固然好，但 AI 的投資仍然應(yīng)該被視為戰(zhàn)略的重點(diǎn)。

當(dāng)然，你可以考慮外包基礎(chǔ)設(shè)施。對(duì)于大多數(shù)組織而言，維護(hù)自己的基礎(chǔ)設(shè)施的數(shù)量并未增加。在云端運(yùn)行基礎(chǔ)設(shè)施所帶來(lái)的規(guī)模經(jīng)濟(jì)性和領(lǐng)先優(yōu)勢(shì)將帶來(lái)實(shí)質(zhì)性好處。

我們將去向何處?

簡(jiǎn)單地說(shuō)：就像登月一樣。ML 反饋閉環(huán)似乎正在全面展開(kāi)，因此，采用者試圖跟上，落后者保持滯后，但領(lǐng)導(dǎo)者卻越來(lái)越領(lǐng)先。

Pablo Carrier 在演講指出，如果你嘗試線性提高 DL 的準(zhǔn)確率，計(jì)算量將呈指數(shù)級(jí)增長(zhǎng)。在過(guò)去六年中，計(jì)算量增加了 1000 萬(wàn)倍。即使是谷歌云也很難跟上，更不用說(shuō)其他的了。

Google Cloud AI 技術(shù)主管 Viacheslav Kovalevskyi 在開(kāi)始他的“分布式 DL 理論和實(shí)踐”演講之前，警告說(shuō)：如果有可能，請(qǐng)避免使用它。如果你真的必須這么做，請(qǐng)注意與分布式相關(guān)的開(kāi)銷(xiāo)，并準(zhǔn)備在計(jì)算和復(fù)雜性以及基礎(chǔ)賬單方面付出代價(jià)。

Kovalevskyi 提供了一些不同的使用分布式 DL 的歷史視角——分布數(shù)據(jù)、模型或二者。分布數(shù)據(jù)是最簡(jiǎn)單的方法，分布兩者是最難的。但是，無(wú)論如何，分布式 DL 仍然是一個(gè)“童話(huà)之地”——通過(guò)增加 k 倍計(jì)算時(shí)間，你并不會(huì)獲得 k 倍的性能提升。

當(dāng)然，Google 的演示主要關(guān)注 Google Cloud 上的 TensorFlow，但這不是唯一可用的方法。Databricks 剛剛宣布支持 HorovodRunner，通過(guò) Horovod 來(lái)輔助分布式 DL。Horovod 是一個(gè)開(kāi)源框架，由 Uber 推出，谷歌也在使用它。

微軟數(shù)據(jù)科學(xué)家和 Azure 數(shù)據(jù) /AI 技術(shù)專(zhuān)家 Marck Vaisman 在他的演講中提出了替代方案，他使用了 Python 和 R，而不使用 Spark。他介紹了 Dask，一個(gè) Python 開(kāi)源庫(kù)。Dask 承諾為分析提供高級(jí)并行性，可以與 Numpy、Pandas 和 Scikit-Learn 等項(xiàng)目協(xié)同工作。

最后，圖和圖數(shù)據(jù)庫(kù)也是整個(gè) BDS 的關(guān)鍵主題：微軟的知識(shí)圖、AWS Neptune 和 Oracle Labs。

云計(jì)算、分發(fā)式以及在 ML 中引入圖結(jié)構(gòu)是未來(lái)需要關(guān)注的一些關(guān)鍵主題。

英文原文：https://www.zdnet.com/article/from-big-data-to-ai-where-are-we-now-and-what-is-the-road-forward/

標(biāo)簽： Google 大數(shù)據(jù) 大數(shù)據(jù)基礎(chǔ) 谷歌 數(shù)據(jù)分析 數(shù)據(jù)庫(kù) 云計(jì)算 轉(zhuǎn)型

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。