編者按：作為基于種群的全局優(yōu)化算法，進(jìn)化算法(Evolutionary Algorithm)不需要目標(biāo)函數(shù)的可解釋性，這些年在計(jì)算代價(jià)昂貴優(yōu)化問(wèn)題，多目標(biāo)優(yōu)化問(wèn)題，魯棒優(yōu)化問(wèn)題等領(lǐng)域獲得了廣泛的應(yīng)用和發(fā)展。

金耀初教授，英國(guó)薩里大學(xué)“計(jì)算智能”首席教授，是進(jìn)化算法研究領(lǐng)域的國(guó)際領(lǐng)軍人物，在進(jìn)化算法方面發(fā)表論文200余篇，Google Scholar引用8800余次。很榮幸在金教授訪問(wèn)東北大學(xué)流程工業(yè)綜合自動(dòng)化國(guó)家重點(diǎn)實(shí)驗(yàn)室時(shí)與金教授進(jìn)行了面對(duì)面的深度學(xué)術(shù)交流，談一談“進(jìn)化算法” 在人工智能研究領(lǐng)域的潛力以及未來(lái)發(fā)展。

1、嘉賓介紹

金耀初(Yaochu Jin)目前為英國(guó)薩里大學(xué)“計(jì)算智能”首席教授，IEEE Fellow。曾任中國(guó)教育部“長(zhǎng)江學(xué)者獎(jiǎng)勵(lì)計(jì)劃”講座教授，芬蘭國(guó)家創(chuàng)新局“Finland Distinguished Professor”，IEEE計(jì)算智能學(xué)會(huì)副主席(2014-2015)。目前是IEEE Transactions on Cognitive and Developmental Systems 主編，Complex & Intelligent Systems 共同主編，IEEE 杰出演講人(2013-2015，2017-2019)。在進(jìn)化算法、機(jī)器學(xué)習(xí)等領(lǐng)域方面發(fā)表論文300余篇，Google Scholar引用15000余次，先后在近30個(gè)國(guó)際會(huì)議上作特邀大會(huì)或主題報(bào)告。榮獲2017年度“IEEE進(jìn)化計(jì)算匯刊優(yōu)秀論文獎(jiǎng)”，2014、2016年度“IEEE 計(jì)算智能雜志優(yōu)秀論文獎(jiǎng)”，“2017年世界進(jìn)化計(jì)算大會(huì)最佳學(xué)生論文獎(jiǎng)”以及“2014年計(jì)算智能理論國(guó)際研討會(huì)最佳學(xué)生論文獎(jiǎng)”。他指導(dǎo)的博士學(xué)位論文獲“2018年度IEEE計(jì)算智能學(xué)會(huì)優(yōu)秀博士論文獎(jiǎng)”。研究方向涉及人工智能的多個(gè)領(lǐng)域，包括進(jìn)化計(jì)算，多目標(biāo)優(yōu)化與決策，大數(shù)據(jù)、稀疏數(shù)據(jù)驅(qū)動(dòng)的進(jìn)化優(yōu)化，多目標(biāo)機(jī)器學(xué)習(xí)、安全機(jī)器學(xué)習(xí)，分布式機(jī)器學(xué)習(xí)等及其在復(fù)雜工業(yè)過(guò)程、健康醫(yī)療及群機(jī)器人等方面的應(yīng)用。

2、訪:很多同學(xué)對(duì)進(jìn)化算法(EA)或多或少都有了解，您覺(jué)得EA和傳統(tǒng)的數(shù)學(xué)優(yōu)化方法相比，其優(yōu)勢(shì)是什么?或者說(shuō)什么樣的問(wèn)題，EA的效果比較好。

金：進(jìn)化算法和傳統(tǒng)的數(shù)學(xué)優(yōu)化方法相比有什么優(yōu)勢(shì)，首先需要知道進(jìn)化算法與傳統(tǒng)優(yōu)化方法有什么區(qū)別。進(jìn)化算法跟傳統(tǒng)優(yōu)化方法最大的區(qū)別有兩個(gè)：一，進(jìn)化算法是基于種群的搜索;二，進(jìn)化算法是隨機(jī)的搜索算法，它不需要梯度，也不需要解析的目標(biāo)函數(shù)。所以它們主要的優(yōu)勢(shì)有以下幾個(gè)方面：一、進(jìn)化算法適用于處理那些沒(méi)有解析目標(biāo)函數(shù)和無(wú)法得到目標(biāo)函數(shù)梯度信息的優(yōu)化問(wèn)題;二、因?yàn)檫M(jìn)化算法是基于種群的搜索方法，它們?cè)谝淮芜\(yùn)行中可以得到一組解，所以相對(duì)于傳統(tǒng)數(shù)學(xué)規(guī)劃方法，進(jìn)化算法在求解多目標(biāo)優(yōu)化問(wèn)題時(shí)具有優(yōu)勢(shì);三、因?yàn)檫M(jìn)化算法是隨機(jī)搜索方法，所以它們搜索全局最優(yōu)解的能力比較強(qiáng);四、進(jìn)化算法的另一個(gè)優(yōu)勢(shì)是它們可以并行計(jì)算;五、進(jìn)化算法還適用于解決同時(shí)有整數(shù)和連續(xù)變量的混合優(yōu)化問(wèn)題;六、進(jìn)化算法處理不確定性的能力也要比傳統(tǒng)的方法有優(yōu)勢(shì)。比如找魯棒最優(yōu)解，由于基于種群的方法有著隱式的平均在里面，哪怕不做特殊的處理，也有能力找到魯棒解。

訪:傳統(tǒng)的數(shù)學(xué)規(guī)劃方法對(duì)于多目標(biāo)優(yōu)化問(wèn)題有沒(méi)有什么解決方法?

金：傳統(tǒng)的數(shù)學(xué)規(guī)劃方法在解決多目標(biāo)問(wèn)題一般需要通過(guò)特定的方法將其轉(zhuǎn)換成單目標(biāo)問(wèn)題，一次求解也只能獲得一個(gè)帕累托解。

訪:基于GPU的并行計(jì)算為大數(shù)據(jù)，深度學(xué)習(xí)的興起提供了硬件保障。計(jì)算工具的革新不單是計(jì)算速度加快，也會(huì)為新的算法在實(shí)際中的應(yīng)用提供可能。多數(shù)EA先天就具備很好的可以并行的特性。您如何看待并行計(jì)算的發(fā)展對(duì)EA會(huì)產(chǎn)生什么樣的影響?

金：十多年前我在本田工作時(shí)，我就用進(jìn)化算法解決圖像處理方面的問(wèn)題，但計(jì)算時(shí)間很長(zhǎng)。如果能夠并行處理，包括CPU和GPU，它的速度就會(huì)增加很多，使得進(jìn)化算法用于解決這類的問(wèn)題更具可行性。但是另一方面，往往有的時(shí)候是人的觀念問(wèn)題。比如以前做圖像處理，人們覺(jué)得用進(jìn)化計(jì)算解決這類問(wèn)題時(shí)間很長(zhǎng)，但是現(xiàn)在我們用深度學(xué)習(xí)解決圖像處理問(wèn)題時(shí)間也很長(zhǎng);再比如每每談到進(jìn)化計(jì)算就會(huì)被問(wèn)有沒(méi)有理論證明，但是大部分深度學(xué)習(xí)算法和機(jī)器學(xué)習(xí)方法也無(wú)法在理論上證明，它們一定能夠找到全局最優(yōu)。但是人們卻馬上接受了深度學(xué)習(xí)。所以這更多是需要一種觀念上的突破。還有進(jìn)化計(jì)算領(lǐng)域的研究者沒(méi)有進(jìn)行有效的宣傳，公眾對(duì)進(jìn)化計(jì)算的了解遠(yuǎn)遠(yuǎn)低于對(duì)一般機(jī)器學(xué)習(xí)的了解。最近有一個(gè)很好的變化，包括像OpenAI這些早期做進(jìn)化計(jì)算的人，他們現(xiàn)在把進(jìn)化計(jì)算用在機(jī)器學(xué)習(xí)里面解決各種問(wèn)題。所以進(jìn)化計(jì)算在人工智能的角色正慢慢被接受，其絕大的潛力也慢慢會(huì)顯現(xiàn)。

訪:這是一個(gè)普遍現(xiàn)象，比如對(duì)基于數(shù)學(xué)規(guī)劃的優(yōu)化的關(guān)注度遠(yuǎn)遠(yuǎn)低于機(jī)器學(xué)習(xí)。大家都知道機(jī)器學(xué)習(xí)，但只有少部分人知道數(shù)學(xué)規(guī)劃的優(yōu)化。

金：沒(méi)錯(cuò)，其實(shí)機(jī)器學(xué)習(xí)算法說(shuō)到底大部分都是梯度法及其變形，像牛頓法，梯度下降法，爬山法等等。另外，增強(qiáng)學(xué)習(xí)其實(shí)質(zhì)就是一種動(dòng)態(tài)規(guī)劃方法。

訪:數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化是進(jìn)化優(yōu)化的一個(gè)重要方向，那么數(shù)據(jù)驅(qū)動(dòng)優(yōu)化問(wèn)題主要有哪些難點(diǎn)?帶有約束的多目標(biāo)數(shù)據(jù)驅(qū)動(dòng)優(yōu)化問(wèn)題是怎么解決的?存在哪些難點(diǎn)?

金：雖然做進(jìn)化計(jì)算的研究者都知道進(jìn)化算法適合解決沒(méi)有解析目標(biāo)函數(shù)的優(yōu)化問(wèn)題(也叫黑箱優(yōu)化問(wèn)題)，但大多數(shù)進(jìn)化算法在設(shè)計(jì)時(shí)，往往假設(shè)目標(biāo)函數(shù)是已知的。相對(duì)而言，我們?cè)跀?shù)據(jù)驅(qū)動(dòng)的進(jìn)化優(yōu)化方面的研究及應(yīng)用是做的比較多并且比較早的。為什么做數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化?因?yàn)樵诂F(xiàn)實(shí)世界中有很多優(yōu)化問(wèn)題無(wú)法用解析的數(shù)學(xué)公式來(lái)描述，其性能的優(yōu)劣只能做仿真或?qū)嶒?yàn)來(lái)驗(yàn)證。一般的進(jìn)化優(yōu)化算法需要解決的挑戰(zhàn)主要在于問(wèn)題中含有很多局部極優(yōu)、大規(guī)模、多目標(biāo)、強(qiáng)約束以及不確定量，而數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化首先必然面對(duì)來(lái)自數(shù)據(jù)方面的挑戰(zhàn)。比如數(shù)據(jù)有各種類型，如小數(shù)據(jù)、大數(shù)據(jù)、異構(gòu)數(shù)據(jù)，數(shù)據(jù)可能包含很多噪聲，還有數(shù)據(jù)缺失、流數(shù)據(jù)、數(shù)據(jù)保密等問(wèn)題，所以數(shù)據(jù)科學(xué)所涉及的主要挑戰(zhàn)在數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化中也必然會(huì)涉及，而機(jī)器學(xué)習(xí)中有很多處理這些數(shù)據(jù)挑戰(zhàn)的有效方法。但必須要強(qiáng)調(diào)的是，我們拿這些數(shù)據(jù)是用來(lái)解決優(yōu)化問(wèn)題的，不是做建模的。優(yōu)化和建模之間的區(qū)別在于建模是為了擬合數(shù)據(jù)，而優(yōu)化是為了引導(dǎo)優(yōu)化算法更快的找到最優(yōu)解。所以兩者的目的不完全一樣，由于這個(gè)不同，數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化也給機(jī)器學(xué)習(xí)帶來(lái)了一些新的挑戰(zhàn)。所以，數(shù)據(jù)驅(qū)動(dòng)的進(jìn)化優(yōu)化是一個(gè)涉及數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)和進(jìn)化計(jì)算的交叉學(xué)科，它的挑戰(zhàn)既有來(lái)自數(shù)據(jù)本身的一些挑戰(zhàn)，也有為解決優(yōu)化問(wèn)題給機(jī)器學(xué)習(xí)帶來(lái)的一些新的挑戰(zhàn)。

訪:離線數(shù)據(jù)優(yōu)化是您最先提出來(lái)的，這類問(wèn)題它有什么重大的意義?

金：做研究一般可以分為兩類，即問(wèn)題驅(qū)動(dòng)的研究和理論驅(qū)動(dòng)的研究。從整體做研究來(lái)說(shuō)，兩個(gè)都是必要的，一方面研究的問(wèn)題要從應(yīng)用中來(lái)，要提煉問(wèn)題。有什么樣的問(wèn)題，才做什么樣的研究。另一方面，研究要到實(shí)際問(wèn)題中去，實(shí)際應(yīng)用有什么問(wèn)題我們解決什么問(wèn)題。離線數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化更多的是問(wèn)題驅(qū)動(dòng)的優(yōu)化，是數(shù)據(jù)驅(qū)動(dòng)優(yōu)化問(wèn)題中比較特殊的一類問(wèn)題。為什么要做離線數(shù)據(jù)優(yōu)化?因?yàn)橛幸活愊裆�產(chǎn)過(guò)程的優(yōu)化這樣的優(yōu)化問(wèn)題，我們無(wú)法邊優(yōu)化邊做驗(yàn)證，因?yàn)樽鲵?yàn)證會(huì)打亂工廠的生產(chǎn)過(guò)程;還有一類資源優(yōu)化問(wèn)題也只能做離線數(shù)據(jù)優(yōu)化，因?yàn)橘Y源優(yōu)化問(wèn)題的數(shù)據(jù)是來(lái)源于日常生活，并且是獨(dú)立于優(yōu)化過(guò)程而產(chǎn)生的，無(wú)法在優(yōu)化過(guò)程中采集想要的數(shù)據(jù)。這兩類問(wèn)題都必然需要考慮離線數(shù)據(jù)驅(qū)動(dòng)優(yōu)化的問(wèn)題和挑戰(zhàn)。

訪:您和本田公司有過(guò)合作，將多目標(biāo)優(yōu)化應(yīng)用到汽車的設(shè)計(jì)上去，這類問(wèn)題往往是多目標(biāo)的，而且還需要進(jìn)行計(jì)算流體力學(xué)仿真，傳統(tǒng)的數(shù)學(xué)優(yōu)化很難求解。EA在解決這類問(wèn)題有什么優(yōu)勢(shì)，同時(shí)EA在解決這類實(shí)際問(wèn)題的時(shí)候有什么難點(diǎn)?

金：有很多實(shí)際問(wèn)題涉及空氣動(dòng)力學(xué)優(yōu)化，像汽車優(yōu)化、一級(jí)方程式賽車的優(yōu)化、飛機(jī)發(fā)動(dòng)機(jī)的優(yōu)化、機(jī)翼的優(yōu)化，以及飛機(jī)機(jī)體的優(yōu)化。此外大型碼頭的設(shè)計(jì)也會(huì)涉及到流體動(dòng)力學(xué)仿真，因?yàn)樾枰�模擬海浪以及氣候情況。還有像智能建筑，也需要使用空氣動(dòng)力學(xué)模擬大氣的流動(dòng)以及溫度的變化等情況。在現(xiàn)實(shí)中有一大類需要涉及復(fù)雜的流體動(dòng)力學(xué)(包括空氣動(dòng)力學(xué))的優(yōu)化，這一類優(yōu)化問(wèn)題的特點(diǎn)是沒(méi)法用解析的數(shù)學(xué)公式來(lái)描述這些優(yōu)化問(wèn)題的目標(biāo)函數(shù)，需要用基于數(shù)據(jù)驅(qū)動(dòng)的方法來(lái)求解。它的難度在于一方面沒(méi)有明確的目標(biāo)函數(shù)，另一方面做仿真和做實(shí)驗(yàn)都很耗時(shí)或耗錢，所以只能用少量的數(shù)據(jù)來(lái)做優(yōu)化，即小數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化�；�于小數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化具有很大的挑戰(zhàn)性，需要將進(jìn)化算法與先進(jìn)的機(jī)器學(xué)習(xí)方法(如半監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)等)進(jìn)行有機(jī)結(jié)合。另外，遷移優(yōu)化方法也是解決小數(shù)據(jù)驅(qū)動(dòng)優(yōu)化的有效方法。還有一點(diǎn)我要強(qiáng)調(diào)的是優(yōu)化問(wèn)題的描述。在解決實(shí)際問(wèn)題時(shí)，問(wèn)題描述本身往往是很復(fù)雜的。我們?cè)谧鲲w機(jī)噴氣式發(fā)動(dòng)機(jī)優(yōu)化時(shí)，就曾經(jīng)面臨過(guò)這樣的問(wèn)題。發(fā)動(dòng)機(jī)葉片優(yōu)化中，最重要的目標(biāo)函數(shù)是壓力損失最小化。我們當(dāng)時(shí)就用進(jìn)化計(jì)算將壓力損失最小化，結(jié)果很好，于是就交給空氣動(dòng)力學(xué)專家。可他們說(shuō)我們獲得的優(yōu)化設(shè)計(jì)沒(méi)法用，因?yàn)殡m然它的壓力損失很小，但由于它的空氣出口每個(gè)點(diǎn)上空氣壓力變化非常大，很不均勻，在實(shí)際使用時(shí)很容易損壞葉片。為解決這個(gè)問(wèn)題，我們又增加了一個(gè)目標(biāo)，即出口空氣壓力的差異最小化。再比如車輛的設(shè)計(jì)，在產(chǎn)品設(shè)計(jì)過(guò)程是分很多階段的，不可能在優(yōu)化設(shè)計(jì)的時(shí)候，一開(kāi)始就把所有的設(shè)計(jì)變量和設(shè)計(jì)目標(biāo)都考慮進(jìn)去，這不現(xiàn)實(shí)。一般說(shuō)來(lái)，在不同的設(shè)計(jì)階段需要考慮不同的變量和目標(biāo)函數(shù)。比如在概念設(shè)計(jì)階段，把大的框架定下來(lái)，把某些設(shè)計(jì)參數(shù)定好，這時(shí)所使用的仿真工具的精度可以相對(duì)低一些，然后對(duì)每個(gè)部件進(jìn)行優(yōu)化，這時(shí)設(shè)計(jì)變量可能會(huì)發(fā)生改變，目標(biāo)也可能會(huì)發(fā)生變化，所選擇的仿真工具的精度需要高一些。而第三階段涉及每個(gè)零件的設(shè)計(jì)，相比第二階段更細(xì)微，所關(guān)注的自變量和目標(biāo)函數(shù)又會(huì)改變。相比解決實(shí)際問(wèn)題，目前進(jìn)化優(yōu)化領(lǐng)域的基準(zhǔn)測(cè)試問(wèn)題(benchmark)都比較籠統(tǒng)的，不管是大規(guī)模優(yōu)化測(cè)試問(wèn)題或高維多目標(biāo)測(cè)試問(wèn)題，往往會(huì)假設(shè)有幾千個(gè)決策變量，有幾十個(gè)目標(biāo)一起優(yōu)化。這都是比較理想化、簡(jiǎn)單化的描述，而在實(shí)際中，問(wèn)題怎么描述，在什么階段用什么決策變量和目標(biāo)函數(shù)，哪些作為約束條件來(lái)處理都需要針對(duì)具體情況考慮。所以問(wèn)題描述本身在求解實(shí)際復(fù)雜優(yōu)化問(wèn)題中有著非常重要的作用。

訪:EA和現(xiàn)在很火的機(jī)器學(xué)習(xí)，深度學(xué)習(xí)有哪些交叉研究。EA可否做為機(jī)器學(xué)習(xí)優(yōu)化問(wèn)題的求解算法?深度神經(jīng)網(wǎng)絡(luò)是否可以替代進(jìn)化計(jì)算常用的高斯模型或代理模型(使用深度神經(jīng)網(wǎng)絡(luò))?

金：首先這是個(gè)很好的問(wèn)題，我先回答后面的問(wèn)題。就是說(shuō)，機(jī)器學(xué)習(xí)在優(yōu)化中的作用。因?yàn)榘褭C(jī)器學(xué)習(xí)和進(jìn)化計(jì)算相結(jié)合會(huì)有兩個(gè)方向，有兩種可能的結(jié)合。我先講第二種可能性，即怎么用機(jī)器學(xué)習(xí)幫助進(jìn)化計(jì)算。其實(shí)我們前面講的基于數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化，幾乎都是這個(gè)方向的。比如用深度學(xué)習(xí)可以用來(lái)處理大數(shù)據(jù)，半監(jiān)督學(xué)習(xí)，遷移學(xué)習(xí)可以拿來(lái)解決小數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化問(wèn)題，增量學(xué)習(xí)可以用來(lái)解決時(shí)變數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化問(wèn)題等等，這些都是使用機(jī)器學(xué)習(xí)技術(shù)幫助進(jìn)化計(jì)算來(lái)更快、更好的的求解優(yōu)化問(wèn)題。現(xiàn)在在回答另一個(gè)問(wèn)題， 及如何用進(jìn)化計(jì)算來(lái)提升機(jī)器學(xué)習(xí)的性能，甚至對(duì)傳統(tǒng)的機(jī)器學(xué)習(xí)的方法進(jìn)行革命性的變革?首先，我既從事進(jìn)化計(jì)算的研究，也做了很多機(jī)器學(xué)習(xí)方面的研究。我經(jīng)常強(qiáng)調(diào)機(jī)器學(xué)習(xí)本質(zhì)上就是一個(gè)優(yōu)化問(wèn)題，機(jī)器學(xué)習(xí)中的誤差函數(shù)或損失函數(shù)就是目標(biāo)函數(shù)。大家也都知道，在機(jī)器學(xué)習(xí)中，為了考慮其他目的，比如正則化，稀疏化等等，就分別會(huì)把正則化或稀疏的要求有一個(gè)超參數(shù)累加到損失函數(shù)中去。總而言之就是使用加權(quán)的方法把不同的目標(biāo)合成一個(gè)目標(biāo)。所以，機(jī)器學(xué)習(xí)就是一個(gè)優(yōu)化問(wèn)題，且本質(zhì)上是一個(gè)多目標(biāo)優(yōu)化問(wèn)題。為了解決這個(gè)優(yōu)化問(wèn)題，機(jī)器學(xué)習(xí)大多采用梯度法及其變形算法。所以把進(jìn)化算法用在機(jī)器學(xué)習(xí)有以下三方面的優(yōu)勢(shì)。

第一、進(jìn)化算法更適合解決非凸問(wèn)題。比如機(jī)器學(xué)習(xí)中采用加權(quán)法把不同的學(xué)習(xí)目標(biāo)加在一起，如果是凸優(yōu)化問(wèn)題，梯度法的效果比較好。但如果是非凸問(wèn)題，通過(guò)加權(quán)以后其實(shí)是解決不了的。這種情況下，進(jìn)化計(jì)算有其獨(dú)特優(yōu)勢(shì)。

第二、傳統(tǒng)的機(jī)器學(xué)習(xí)算法只能夠用于參數(shù)優(yōu)化。用梯度方法來(lái)進(jìn)行神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化就比較難了。雖然說(shuō)可以通過(guò)各種變換，梯度法也能在一定程度上解決神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化問(wèn)題，但是它不是最有效的方法。相比之下，進(jìn)化計(jì)算做結(jié)構(gòu)優(yōu)化很有效。事實(shí)上，為了解決大規(guī)模深度網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化問(wèn)題，還可以借鑒生物發(fā)育機(jī)制，將進(jìn)化算法與發(fā)育模型相結(jié)合。

第三、進(jìn)化算法可以實(shí)現(xiàn)多目標(biāo)學(xué)習(xí)。傳統(tǒng)機(jī)器學(xué)習(xí)往往把不同的目標(biāo)整合成一個(gè)單目標(biāo)問(wèn)題。但是進(jìn)化計(jì)算非常適合解決多目標(biāo)優(yōu)化問(wèn)題。如果我們把多目標(biāo)優(yōu)化引入機(jī)器學(xué)習(xí)就可以實(shí)現(xiàn)多目標(biāo)學(xué)習(xí)。早在2006年的時(shí)候我就編輯過(guò)一本書(shū)，叫作《Multi-Objective Machine Learning》, 是斯普林格出版社出版的，就是將多目標(biāo)優(yōu)化的思想引入到機(jī)器學(xué)習(xí)。

要理解多目標(biāo)學(xué)習(xí)的好處是什么，首先需要理解傳統(tǒng)機(jī)器學(xué)習(xí)方法的局限性在哪里，傳統(tǒng)機(jī)器學(xué)習(xí)中將多個(gè)目標(biāo)整合成一個(gè)目標(biāo)，必須要用到超參數(shù)。而超參數(shù)又需要用戶去確定，所以很難確定一個(gè)最優(yōu)的超參數(shù)。。把多個(gè)目標(biāo)組合成單個(gè)目標(biāo)至少有兩個(gè)局限性：一是你只能得到一個(gè)模型。而這個(gè)模型是好還是不好，你事先是不知道的。 二是如果這個(gè)問(wèn)題是非凸問(wèn)題，那你調(diào)超參數(shù)是沒(méi)有用的。相反，如果我們采用多目標(biāo)學(xué)習(xí), 用帕累托優(yōu)化的思想，我們就可以得到不同的模型。而不同的模型就能滿足用戶不同的需求。 比如，我們想得到可解釋性好且精度高的模型，這個(gè)可能很難。如果我們把精度高看成一個(gè)是目標(biāo)，把可解釋性好看成另外一個(gè)目標(biāo)，也就是把精度和可解釋性作為兩個(gè)不同的目標(biāo)，然后我們用進(jìn)化多目標(biāo)算法同時(shí)優(yōu)化機(jī)器學(xué)習(xí)模型的結(jié)構(gòu)和參數(shù)，最后我們就可以得到一系列的模型。這些模型中有些是可解釋性好的模型，雖然說(shuō)他的精度不一定非常高。但它可以解釋，可以描述數(shù)據(jù)里所蘊(yùn)含的知識(shí)，對(duì)于要求解釋性強(qiáng)的用戶來(lái)說(shuō)這個(gè)就足夠了。如果我們要求是精度高的模型，我們就去挑那些精度特別高的模型。其實(shí)最精確的模型就是模型的復(fù)雜性跟問(wèn)題的復(fù)雜性是最匹配的那個(gè)模型�？傊�，當(dāng)我們用進(jìn)化多目標(biāo)算法解決機(jī)器學(xué)習(xí)問(wèn)題是就可以得到一系列的模型，這些模型中有些可能是可解釋性最好的，有些可能是精度最高的，而有一些可能就是過(guò)擬合的。當(dāng)你看到所有的不同模型的時(shí)候你就可以挑選其中若干個(gè)。這個(gè)就是用進(jìn)化算法來(lái)解決機(jī)器學(xué)習(xí)帶來(lái)的一大優(yōu)勢(shì)。總的來(lái)說(shuō)把進(jìn)化運(yùn)算用來(lái)幫助機(jī)器學(xué)習(xí)不僅僅是說(shuō)我能夠讓它學(xué)的更好，而且是給它提供了更多的可能性。同時(shí)可以用來(lái)做參數(shù)優(yōu)化，結(jié)構(gòu)優(yōu)化，還能考慮模型的可解釋性、安全性等。

訪:其實(shí)加正則化項(xiàng)就是防止一些過(guò)擬合，它會(huì)產(chǎn)生一些稀疏的特性，如果產(chǎn)生一些稀疏的特性，是不是就意味著說(shuō)這個(gè)模型有一定的可解釋性。

金：對(duì)，就這個(gè)意思啊。就是前面講到的那些有一些模型是可解釋的，而那些模型往往就是復(fù)雜度相對(duì)比較低的模型。

訪:但就是精度稍微低了一點(diǎn)?

金：對(duì)，因?yàn)檫@些模型抓住事情的本質(zhì)，抓住了主要矛盾。數(shù)據(jù)中包含了一大堆的信息，有些是主要的，有些是次要的，有些甚至是噪音。一個(gè)高精度的模型必然是學(xué)習(xí)數(shù)據(jù)中的所有東西。反而，一個(gè)精度不是太高、復(fù)雜度低一些的模型就可以抓住問(wèn)題本質(zhì)。比如之前我們使用多目標(biāo)學(xué)習(xí)方法做過(guò)一個(gè)乳腺癌診斷的問(wèn)題。這個(gè)問(wèn)題有9個(gè)變量，而我們用多目標(biāo)學(xué)習(xí)獲得的模型中其中最最簡(jiǎn)單的一個(gè)只用到其中一個(gè)變量(病理指標(biāo))，它卻能正確地對(duì)90%的數(shù)據(jù)進(jìn)行分類，那就足夠了，何況從這個(gè)簡(jiǎn)單的模型中我們可以提取兩條非常簡(jiǎn)單、可以解釋的規(guī)則。

訪:那我們?cè)囼?yàn)中怎么知道這個(gè)模型是不是可解釋性的?

金：回答這個(gè)問(wèn)題就涉及到可解釋性的定量問(wèn)題，也就是我們?cè)趺炊�義可解釋性。我在90年末的時(shí)候做過(guò)模糊系統(tǒng)的可解釋性。因?yàn)樽钤绲哪：�是人總結(jié)出來(lái)的，很容易解釋。后來(lái)出現(xiàn)了神經(jīng)網(wǎng)絡(luò)，進(jìn)化計(jì)算，就有了數(shù)據(jù)驅(qū)動(dòng)的模糊規(guī)則生成方法。也就是說(shuō)用數(shù)據(jù)來(lái)產(chǎn)生模糊規(guī)則，而不是像過(guò)去一樣靠專家總結(jié)。但后來(lái)發(fā)現(xiàn)用數(shù)據(jù)驅(qū)動(dòng)的方法產(chǎn)生的這些模糊規(guī)則用戶不能理解，因?yàn)檫@些純粹是使用數(shù)據(jù)進(jìn)行自適應(yīng)的。 為了解決這個(gè)問(wèn)題，我們提出“模糊規(guī)則的可解釋性問(wèn)題”。通過(guò)提出了一些模糊規(guī)則可接受性的量化指標(biāo)，然后采用多目標(biāo)進(jìn)化方法來(lái)產(chǎn)生可解釋的模糊規(guī)則。

訪:一些不了解進(jìn)化計(jì)算的研究者和初入這個(gè)方向的研究者可能會(huì)產(chǎn)生“EA就是在一大堆benchmark上跑跑，實(shí)際上沒(méi)有什么用”，“EA的研究就是使勁做實(shí)驗(yàn)然后結(jié)果比別人好0.001就開(kāi)始灌水”等觀點(diǎn)。如何看待這些觀點(diǎn)?EA的研究未來(lái)的發(fā)展趨勢(shì)是什么?希望能給想進(jìn)入EA研究領(lǐng)域的人一些建議。

金： 個(gè)人覺(jué)得，討論這個(gè)問(wèn)題時(shí)，我們要公平。什么叫公平?不要只盯著著說(shuō)進(jìn)化計(jì)算這樣，因?yàn)闄C(jī)器學(xué)習(xí)也一樣，很多其他領(lǐng)域也一樣。其實(shí)很早就有學(xué)者批評(píng)機(jī)器學(xué)習(xí)中的這種情況，比方說(shuō)拿了一組數(shù)據(jù)，然后開(kāi)始拼性能。所以如果說(shuō)只有計(jì)劃計(jì)算領(lǐng)域才有這個(gè)問(wèn)題，我覺(jué)得不公平。那為什么大家對(duì)機(jī)器學(xué)習(xí)感覺(jué)沒(méi)有那么明顯?因?yàn)闄C(jī)器學(xué)習(xí)中的測(cè)試問(wèn)題大都是圖像，如人臉識(shí)別問(wèn)題，會(huì)給人感覺(jué)是在解決一個(gè)真實(shí)的問(wèn)題。相反，進(jìn)化計(jì)算的測(cè)試問(wèn)題全是一堆目標(biāo)函數(shù)。人臉識(shí)別是一種看得見(jiàn)的問(wèn)題，但說(shuō)到底他也是測(cè)試問(wèn)題。而進(jìn)化計(jì)算中的測(cè)試問(wèn)題是抽象的問(wèn)題，所以給人的感覺(jué)不是一個(gè)真實(shí)的問(wèn)題。所以，大部分機(jī)器學(xué)習(xí)和進(jìn)化計(jì)算解決的問(wèn)題都是測(cè)試問(wèn)題，都是benchmark。另一個(gè)方面，我們進(jìn)化計(jì)算的研究者也需要更多的傾聽(tīng)這種批評(píng)的聲音，做更“看得見(jiàn)、摸得著”的測(cè)試問(wèn)題。進(jìn)化計(jì)算領(lǐng)域的研究應(yīng)該更多的以實(shí)際應(yīng)用為驅(qū)動(dòng)。比如做數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化。但做數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化就沒(méi)有做純粹benchmark問(wèn)題那么簡(jiǎn)單了。而且有時(shí)候沒(méi)辦法驗(yàn)證解的好壞。我們現(xiàn)在正往這方面努力，希望能從實(shí)際問(wèn)題中提煉出一些數(shù)據(jù)，比如空氣動(dòng)力學(xué)優(yōu)化的例子。因?yàn)槟阕屆總�(gè)學(xué)生都運(yùn)行這個(gè)很耗時(shí)的計(jì)算流體力學(xué)仿真是不現(xiàn)實(shí)的，那么能不能事先用仿真工具產(chǎn)生一些數(shù)據(jù)供大家使用?同時(shí)，我們應(yīng)該設(shè)計(jì)一些更接近現(xiàn)實(shí)問(wèn)題benchmark。

訪:benchmark還是很有意義的，不可能完全拋棄，在各領(lǐng)域其實(shí)都有類似的benchmark，這個(gè)也不單單只是進(jìn)化計(jì)算的一個(gè)特殊的問(wèn)題。

金：對(duì)。之所以大家都在說(shuō)進(jìn)化計(jì)算的主要原因，在于進(jìn)化計(jì)算的benchmark太抽象了。

總之，進(jìn)化計(jì)算在人工智能研究中的巨大潛力還沒(méi)有被開(kāi)發(fā)出來(lái)，公眾對(duì)進(jìn)化計(jì)算的認(rèn)知度仍然不高。其實(shí)現(xiàn)實(shí)生活中是存在很多進(jìn)化計(jì)算典型的應(yīng)用場(chǎng)景的。

最后謝謝你的采訪。

標(biāo)簽： Google 安全 處理大數(shù)據(jù) 大數(shù)據(jù) 搜索 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。