算法工程師眼中的AI崗位
2019-03-21 來源：raincent
人工智能的飛速發(fā)展導(dǎo)致了某些工作崗位因自動化操作取代手動操作而減少甚至消失，技術(shù)進步帶來的歡欣鼓舞填補不了部分人因失業(yè)而導(dǎo)致的失落。然而，人工智能不僅僅“消滅”工作崗位，同時也會創(chuàng)造另外一些工作機會。這些新的工作機會是什么?與近年來大火的人工智能三大主義、機器學(xué)習(xí)、深度學(xué)習(xí)、大數(shù)據(jù)等概念又有哪些關(guān)系?
一、人工智能三大主義能為我們創(chuàng)造什么工作?
作為近年來在無論在科技領(lǐng)域還是投資領(lǐng)域都非�；鸨母拍�，人工智能并不是什么新技術(shù)。早在計算機被發(fā)明伊始，科學(xué)家們就在考慮用計算機技術(shù)實現(xiàn)人工智能了。1946 年 2 月 14 日，世界上第一臺電腦 ENIAC 在美國賓夕法尼亞大學(xué)誕生。1956 年，“人工智能之父”John McCarth 在達特矛斯會議上提出將 “人工智能就是要讓機器的行為看起來像人所表現(xiàn)出的智能行為一樣”。在如何實現(xiàn)人工智能這個話題領(lǐng)域，科學(xué)家們有著不同理念和想法。這些理念和想法后來被歸結(jié)為人工智能三大主義。
1)符號主義
符號主義者認(rèn)為人工智能源于數(shù)理邏輯, 可以通過在計算機上進行邏輯演繹的方式實現(xiàn)人工智能。在 1956 年首先使用 “人工智能” 這個術(shù)語的正是符號主義者。，在 20 世紀(jì) 80 年代，由符號主義發(fā)展出專家系統(tǒng)取得很大發(fā)展。人們在開發(fā)專家系統(tǒng)時發(fā)現(xiàn)其瓶頸，計算機沒有常識儲備：計算機并不知道什么是奧巴馬，什么是美國，更不知道奧巴馬曾經(jīng)是美國總統(tǒng)。為了解決這個問題，人們開始構(gòu)建常識知識庫(簡稱常識庫)，常識庫是一個包含了大多數(shù)人所具備的一般知識的數(shù)據(jù)庫。后來常識庫升級為語義網(wǎng)，而語義網(wǎng)是知識圖譜的前身�，F(xiàn)在符號主義整體進入冷寂期，但知識圖譜作為符號主義的余脈依然活躍在學(xué)術(shù)研究和工業(yè)應(yīng)用中。
下圖正是符號主義為我們創(chuàng)造的工作崗位：知識圖譜工程師，其崗位職責(zé)是負(fù)責(zé)建立和維護知識圖譜。由于現(xiàn)在的知識圖譜是從 Wikipadia 抽取信息，需要正確處理文本，因此知識圖譜崗位需要具備一定的自然語言處理能力。
2)行為主義
行為主義借鑒了心理學(xué)的行為主義，認(rèn)為智能就是 “感知-動作”，即感知外界環(huán)境并反饋正確的動作。實現(xiàn) “感知-動作” 模型的基礎(chǔ)是控制論思想，控制論在 20 世紀(jì) 40~50 年代就成為時代思潮的重要部分。行為主義一直致力于智能控制和智能機器人的研究。時至今日，具有“自己行走”、“搬運東西”和其他功能的實體智能機器人依然是研究的熱點。下圖是由大名鼎鼎的波士頓機器人公司研發(fā)的四足行走機器人 (人稱大狗)。
當(dāng)前行為主義并不是人工智能領(lǐng)域的主流，但正如符號主義有一個受人關(guān)注的延續(xù) (知識圖譜)，行為主義也啟發(fā)了一個著名的分支——強化學(xué)習(xí)。在早期的控制論中，人們已經(jīng)開始探索類似于強化學(xué)習(xí)的機制。強化學(xué)習(xí)關(guān)注決策者與其環(huán)境交互時所面臨的學(xué)習(xí)問題，有點類似于 “感知-動作” 模式。不同點在于強化學(xué)習(xí)更強調(diào)學(xué)習(xí)，因此強化學(xué)習(xí)最終被歸入了機器學(xué)習(xí)，成為機器學(xué)習(xí)三大模式(有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強化學(xué)習(xí))之一。
3)連接主義
連接主義認(rèn)為人工智能應(yīng)模擬大腦連接結(jié)構(gòu)，從而建立了神經(jīng)網(wǎng)絡(luò)模型。早在計算機誕生前，心理學(xué)家 W·Mcculloch 和數(shù)理邏輯學(xué)家 W·Pitts就提出神經(jīng)元的數(shù)學(xué)模型。1948 年，首臺計算機設(shè)計者馮·諾依曼也研究過神經(jīng)網(wǎng)絡(luò)。50年代末，F(xiàn)·Rosenblatt 制成了一層神經(jīng)網(wǎng)絡(luò)模型 “感知機”，神經(jīng)網(wǎng)絡(luò)從思想走向現(xiàn)實。但 1968 年一本名為《感知機》的著作指出，線性感知機功能是有限的，它甚至不能解決異或這樣的基本關(guān)系。神經(jīng)網(wǎng)絡(luò)的研究進入了低潮。
1986 年，Rumelhart 為首的研究小組提出了反向傳播算法，使得能夠逼近復(fù)雜函數(shù) (當(dāng)然包括異或) 的三層神經(jīng)網(wǎng)絡(luò)可以被訓(xùn)練。神經(jīng)網(wǎng)絡(luò)第二次興起。1995 年，SVM 算法被提出，成為神經(jīng)網(wǎng)絡(luò)的強勁對手。神經(jīng)網(wǎng)絡(luò)進入了第二次低潮。
2006 年，Hinton (也就是 1986 年那篇反向傳播算法論文的共同作者) 提出了用 AutoEncoder 初始化神經(jīng)網(wǎng)絡(luò)參數(shù)，再進行訓(xùn)練的方法，使得表達能力更強的多層神經(jīng)網(wǎng)絡(luò)成為可能。隨后，多層神經(jīng)網(wǎng)絡(luò)在不同競賽中取得了遠(yuǎn)比其他方法好的成果。神經(jīng)網(wǎng)絡(luò)第三次興起。
在神經(jīng)網(wǎng)絡(luò)起起落落的這些年里，一位未來的王者開始登上歷史的舞臺，那就是機器學(xué)習(xí)。連接主義是機器學(xué)習(xí)中學(xué)習(xí)概念的重要思想源頭，神經(jīng)網(wǎng)絡(luò)也是機器學(xué)習(xí)重要模型，機器學(xué)習(xí)則包含了更多的內(nèi)容�，F(xiàn)在，機器學(xué)習(xí)馳名當(dāng)世、聲名遠(yuǎn)揚，蓋住了傳統(tǒng)人工智能的風(fēng)頭，以至于很多人誤以為人工智能就是機器學(xué)習(xí)。
人工智能工程師做的產(chǎn)品大部分和機器學(xué)習(xí)相關(guān)。如下圖中，盡管工作職位的稱呼是人工智能算法工程師，但絕不是讓你去開發(fā)專家系統(tǒng), 而是讓你做與學(xué)習(xí)相關(guān)的工作。
二、機器學(xué)習(xí)熱潮帶來的職業(yè)機會
1986 年是令人振奮的一年。在這一年，反向傳播算法問世，標(biāo)志著連接主義的載體神經(jīng)網(wǎng)絡(luò)第二次興起。也是這一年，Quinlan 提出了著名的 ID3 決策樹算法，開啟了學(xué)習(xí)道路的另一條分支。這條樹模型的分支持續(xù)演化到了今天，依然在人類工業(yè)實踐和學(xué)術(shù)研究中扮演著重要角色。后來，科學(xué)家們陸續(xù)將統(tǒng)計學(xué)的算法引入該領(lǐng)域，如回歸和聚類;開始為機器學(xué)習(xí)建立了數(shù)學(xué)基礎(chǔ)，如 VC 維;或者提出了新的算法，如 SVM 和 RandomForest。這些新思想、新算法遠(yuǎn)遠(yuǎn)超出了連接主義 “模擬大腦連接結(jié)構(gòu)” 的原定義，再稱之為連接主義已經(jīng)不合適了，于是人們將神經(jīng)網(wǎng)絡(luò)和這些新思想新算法命名為機器學(xué)習(xí)。機器學(xué)習(xí)依然是 “要讓機器的行為看起來像人所表現(xiàn)出的智能行為一樣”，即依然是人工智能的范疇。
在講人工智能連接主義時，我們提到了神經(jīng)網(wǎng)絡(luò)第三次的興起，源于Hinton 在 2006 年發(fā)表的一篇關(guān)于 “有效訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的方法” 的論文。由此神經(jīng)網(wǎng)絡(luò)極大地提升了自己的性能，尤其在圖像和語音領(lǐng)域。多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)效果太好了，以至于人們接受了 Hinton 提出的深度學(xué)習(xí)的稱呼。深度學(xué)習(xí)從 2006 年第一篇論文開始，至今已占據(jù)了機器學(xué)習(xí)領(lǐng)域的主流地位，不過短短十年。深度學(xué)習(xí)的火爆，導(dǎo)致我們需要特別澄清深度學(xué)習(xí)和機器學(xué)習(xí)之間的關(guān)系：人工智能包含機器學(xué)習(xí)，而機器學(xué)習(xí)包含深度學(xué)習(xí)。
機器學(xué)習(xí)尤其是深度學(xué)習(xí)需要用大量的數(shù)據(jù)進行高效訓(xùn)練。這需要一個高效的機器學(xué)習(xí)平臺。即使現(xiàn)在有了 TensorFlow 之類的開源機器學(xué)習(xí)平臺，也需要工程師將其改造并部署到集群中，以讓其高效工作。因此機器學(xué)習(xí)專門有一個機器學(xué)習(xí)系統(tǒng)方向，研究如何設(shè)計并實現(xiàn)高效的分布式機器學(xué)習(xí)平臺。
在工作職位上，相關(guān)職位有：機器學(xué)習(xí)工程師和機器學(xué)習(xí)平臺工程師。前者的工作職責(zé)是將機器學(xué)習(xí)算法應(yīng)用在現(xiàn)有業(yè)務(wù)上，后者的工作職責(zé)則是建設(shè)并維護分布式機器學(xué)習(xí)平臺。
還有一個相關(guān)工作職位是算法工程師。這里所指的算法不是計算機基礎(chǔ)算法(如動態(tài)規(guī)劃)，而是機器學(xué)習(xí)算法。筆者個人認(rèn)為應(yīng)該稱為機器學(xué)習(xí)算法工程師更加恰當(dāng)。這個職位和機器學(xué)習(xí)工程師類似。另外一個職位是深度學(xué)習(xí)工程師。由于近年來深度學(xué)習(xí)非�；鸨簧俟緦τ谏疃葘W(xué)習(xí)方向的人員需求迫切，于是產(chǎn)生了深度學(xué)習(xí)工程師的職位。
隨著人們在機器學(xué)習(xí)領(lǐng)域取得突破，機器學(xué)習(xí)的思想和方法開始影響不同的領(lǐng)域。
1)數(shù)據(jù)挖掘
數(shù)據(jù)挖掘擁有很多定義, 其中一個比較有名的定義為 “一門從大量數(shù)據(jù)或者數(shù)據(jù)庫中提取有用信息的科學(xué)”。大部分人是通過一個案例認(rèn)識到數(shù)據(jù)挖掘：這是因為沃爾瑪通過數(shù)據(jù)分析發(fā)現(xiàn)，男性顧客在購買嬰兒尿片時，常常會順便搭配幾瓶啤酒來犒勞自己，于是嘗試推出了將啤酒和尿布擺在一起的促銷手段;沒想到這個舉措居然使尿布和啤酒的銷量都大幅增加了。雖然這個故事很可能是假的(Teradata公司一位經(jīng)理編出來的“故事”目的是讓數(shù)據(jù)分析看起來更有力更有趣), 但是確實讓不少人開始接觸數(shù)據(jù)挖掘。
我們似乎能感受數(shù)據(jù)挖掘的企圖心：從數(shù)據(jù)出發(fā)，建立一個類似現(xiàn)在機器學(xué)習(xí)那樣龐大的科學(xué)體系。開普勒從第谷的大量資料中發(fā)現(xiàn)行星運動規(guī)律的歷史，“啤酒和尿布” 的故事，從數(shù)據(jù)中發(fā)現(xiàn)的相關(guān)關(guān)系將替代因果關(guān)系的宣言，是數(shù)據(jù)挖掘理論高度和實際應(yīng)用的背書，是數(shù)據(jù)挖掘?qū)崿F(xiàn)企圖心的見證。一山哪能容二虎，數(shù)據(jù)挖掘和機器學(xué)習(xí)正面交鋒了。它們之間有很多重合的地方，如下圖所示。在重合部分的分類、聚類和回歸上，機器學(xué)習(xí)有高層次的理論分析，有高效的訓(xùn)練方法;在非重合部分，機器學(xué)習(xí)有很多數(shù)據(jù)挖掘沒有的東西，比如學(xué)習(xí)理論和強化學(xué)習(xí)。在機器學(xué)習(xí)崛起的背景下，我們很難說清楚數(shù)據(jù)挖掘區(qū)別于機器學(xué)習(xí)的獨特價值是什么了。歷史給機器學(xué)習(xí)加了冕。
在工作崗位方面，我們似乎看到很多數(shù)據(jù)挖掘工程師成了機器學(xué)習(xí)工程的別稱，畢竟它們之間有太多的重合。但有一種情況例外: 如果推薦系統(tǒng)和廣告系統(tǒng)部門招聘，機器學(xué)習(xí)工程師偏重于點擊率預(yù)估算法的實現(xiàn)和改進，數(shù)據(jù)挖掘工程師則偏重于新特征的挖掘。
2)推薦系統(tǒng)和廣告系統(tǒng)
推薦系統(tǒng)和廣告系統(tǒng)都是工業(yè)級的大系統(tǒng)，需要各個子系統(tǒng)相互協(xié)調(diào)配合，但都以機器學(xué)習(xí)建構(gòu)其中一個核心子系統(tǒng) —— 點擊率預(yù)估 (CTR)。推薦系統(tǒng)和廣告系統(tǒng)對現(xiàn)在的人工智能有很重要的意義。即便現(xiàn)階段人工智能的幾個創(chuàng)新點(人臉識別、對話機器人和無人駕駛等)失敗，人工智能也不會面臨“The winter is coming”的慘狀，因為推薦系統(tǒng)和廣告系統(tǒng)能直接產(chǎn)生收益。根據(jù)艾瑞發(fā)布的《2016Q1網(wǎng)絡(luò)廣告營收報告》，2016 年第一季度中國網(wǎng)絡(luò)廣告市場規(guī)模達543.4億元。再加上收益不菲的推薦系統(tǒng)，人工智能社區(qū)能夠全身而退，重新回到 “世界上最聰明的一群人，每天研究的是如何讓人更多地點廣告”時代 。
推薦系統(tǒng)和廣告系統(tǒng)作為能直接帶來效益的部門，自然需要招聘專門的推薦算法工程師和廣告算法工程師。推薦算法工程師和廣告算法工程師的主要職責(zé)分別是建立推薦和廣告的點擊率預(yù)估。
3)搜索引擎
搜索引擎更是一個工業(yè)級的大系統(tǒng)。不把搜索引擎、推薦系統(tǒng)和廣告系統(tǒng)并列在一起，是因為機器學(xué)習(xí)并不是搜索引擎的核心部件。基于可解釋和可控制的因素，搜索引擎的網(wǎng)頁排序大量基于規(guī)則，而不是機器學(xué)習(xí)模型。同時信息采集 (爬蟲子系統(tǒng)) 和信息組織 (信息檢索子系統(tǒng))等非機器學(xué)習(xí)部件都在搜索引擎中扮演著非常重要的角色。但機器學(xué)習(xí)在搜索引擎中也起了一定作用, 比如需要查詢詞的意圖。因此，搜索工程師指的是負(fù)責(zé)搜索引擎的各個模塊的工程師。
4)自然語言處理、計算機視覺和語音識別
自然語言處理要讓計算機理解和生成人類語言，是機器學(xué)習(xí)和語言學(xué)融合的產(chǎn)物。自然語言處理的經(jīng)典任務(wù)包括分詞、詞性標(biāo)注、語法樹解析、機器翻譯和人機對話等等。5 年前，除了百度(百度很早就成立了單獨的自然語言處理部門)，大部分公司都不單獨招聘自然語言工程師，而是將自然語言處理作為推薦系統(tǒng)、廣告系統(tǒng)和搜索引擎的子模塊。比如搜索引擎中的 query 分詞就是一個典型的分詞任務(wù)。近幾年，由于大量的人機對話項目和少部分機器翻譯項目的需求，導(dǎo)致很多公司開始單獨招聘自然語言工程師。下圖就是來自騰訊的自然語言處理的招聘職位，可以看出這個職位的要求就是做對話機器人。
計算機視覺要讓計算機理解和生成圖像，是機器學(xué)習(xí)和圖像處理融合的產(chǎn)物。計算機視覺在深度學(xué)習(xí)大發(fā)展的今天，取得了巨大的突破。雖然計算機視覺的商業(yè)應(yīng)用場景還在探索中，一些大公司和創(chuàng)業(yè)公司已經(jīng)開始招聘計算機視覺工程師。由于最近幾年計算機視覺的突破幾乎都是由深度學(xué)習(xí)進步帶來的，因此計算機視覺工程師需要有深度學(xué)習(xí)的知識和背景。
同樣得益于深度學(xué)習(xí)的進步，語音識別也取得了突破。語音識別指的是將說話的音頻轉(zhuǎn)成文字的過程。隨著語音識別的進步，一些大公司和創(chuàng)業(yè)公司開始招聘專門的語音識別工程師, 語音識別工程師的主要職責(zé)是負(fù)責(zé)建立和維護語音識別系統(tǒng)。市場上語音識別的訓(xùn)練數(shù)據(jù)非常少，收集和整理數(shù)據(jù)也是職責(zé)之一。
三、人人都在談的大數(shù)據(jù)，為我們創(chuàng)造了哪些工作崗位?
與人工智能密切聯(lián)系的領(lǐng)域是大數(shù)據(jù)。目前大數(shù)據(jù)在業(yè)界的概念比較寬泛，如 4v 、 5v 等 (IBM 咨詢提出，大數(shù)據(jù)有4V特點，即Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值))，以至于 “人人都在談大數(shù)據(jù)，但沒人知道大數(shù)據(jù)究竟是什么”。 但在技術(shù)上，大數(shù)據(jù)技術(shù)的定義是非常明確的，指的是一系列處理和存儲海量數(shù)據(jù)的技術(shù)。大數(shù)據(jù)技術(shù)的起點應(yīng)該是人稱 Google 三駕馬車的三篇論文: Google FS、 MapReduce 和 Bigtable。受到這三篇論文影響, Doug Cutting 等人陸續(xù)改進其負(fù)責(zé)的 Apache Nutch 項目，于 2006 年完成了一套獨立而完整的軟件, 并將其命名為 Hadoop。其后大數(shù)據(jù)技術(shù)的發(fā)展如下圖所示 (該圖最早來源于微博)。目前最主流的大數(shù)據(jù)處理平臺是 Spark。
市場上對大數(shù)據(jù)工程師的需求非常迫切，其主要職責(zé)是使用開源大數(shù)據(jù)平臺，建立和維護大數(shù)據(jù)集群。在某些公司，大數(shù)據(jù)工程師還負(fù)責(zé)公司內(nèi)產(chǎn)生數(shù)據(jù)的收集、整理和入庫。
四、人的數(shù)據(jù)分析，產(chǎn)生了哪些職位?
數(shù)據(jù)分析指的是是用適當(dāng)?shù)慕y(tǒng)計方法對數(shù)據(jù)進行分析，發(fā)現(xiàn)數(shù)據(jù)中規(guī)律，從而幫助業(yè)務(wù)發(fā)展。這個工作和數(shù)據(jù)很近，要求從業(yè)人員對數(shù)據(jù)敏感，和人工智能比較遠(yuǎn)。主要發(fā)揮人的主觀能動性，而不是使用算法效能。數(shù)據(jù)分析的對象是人，而不是機器。
舉個例子，漏斗模型是經(jīng)典的消費者模型(如上圖)，如果網(wǎng)站改版之后，數(shù)據(jù)分析發(fā)現(xiàn)轉(zhuǎn)化率變低，這就需要分析原因了，如是不是點擊按鈕不夠明顯。根據(jù)這些分析結(jié)果，能夠持續(xù)優(yōu)化網(wǎng)站。數(shù)據(jù)分析有自己的故事，“商業(yè)智能”、“數(shù)據(jù)驅(qū)動” 和 “增長黑客” 都是數(shù)據(jù)分析飽含理想和格調(diào)的稱呼。下面是一個典型的數(shù)據(jù)分析職位的例子。
五、結(jié)論
人工智能、機器學(xué)習(xí)、深度學(xué)習(xí)和大數(shù)據(jù)等概念關(guān)系密切，相互之間有很深的淵源，導(dǎo)致相應(yīng)工作職位內(nèi)涵重疊。例如深度學(xué)習(xí)工程師很大概率從事計算機視覺相關(guān)的工作，而計算機視覺工程師必須有深度學(xué)習(xí)背景和知識。
回到文章開頭的問題，雖然人工智能的出現(xiàn)導(dǎo)致了某些工作崗位的消亡，但人工智能三大主義、機器學(xué)習(xí)、深度學(xué)習(xí)和大數(shù)據(jù)等新興領(lǐng)域也創(chuàng)造了大量的新型的工作職位。這是人工智能深刻影響經(jīng)濟活動和社會生活的縮影，是這個時代的注腳。
標(biāo)簽： [db:TAGG]
版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。
