對于深度學習和機器學習工程師們來說，正態(tài)分布是世界上所有概率模型中最重要的一個。即使你沒有參與過任何人工智能項目，也一定遇到過高斯模型，今天就讓我們來看看高斯過程為什么這么受歡迎。

高斯分布(Gaussian distribution)，也稱正態(tài)分布，最早由A.棣莫弗在求二項分布的漸近公式中得到。C.F.高斯在研究測量誤差時從另一個角度導出了它。P.S.拉普拉斯和高斯研究了它的性質(zhì)。是一個在數(shù)學、物理及工程等領(lǐng)域都非常重要的概率分布，在統(tǒng)計學的許多方面有著重大的影響力。

正態(tài)曲線呈鐘型，兩頭低，中間高，左右對稱因其曲線呈鐘形，因此人們又經(jīng)常稱之為鐘形曲線。

 

 

若隨機變量X服從一個數(shù)學期望為μ、方差為σ^2的正態(tài)分布，記為N(μ，σ^2)。其概率密度函數(shù)為正態(tài)分布的期望值μ決定了其位置，其標準差σ決定了分布的幅度。當μ = 0,σ = 1時的正態(tài)分布是標準正態(tài)分布。

 

 

高斯概率分布的數(shù)學表達式

在自然現(xiàn)象中隨處可見

所有模型都是錯的，但有些是有用的

—George Box

 

 

正在擴散的粒子的位置可以用正態(tài)分布來描述

正態(tài)分布有極其廣泛的實際背景，生產(chǎn)與科學實驗中很多隨機變量的概率分布都可以近似地用正態(tài)分布來描述。例如，在生產(chǎn)條件不變的情況下，產(chǎn)品的強力、抗壓強度、口徑、長度等指標;同一種生物體的身長、體重等指標;同一種種子的重量;測量同一物體的誤差;彈著點沿某一方向的偏差;某個地區(qū)的年降水量;以及理想氣體分子的速度分量，等等。

一般來說，如果一個量是由許多微小的獨立隨機因素影響的結(jié)果，那么就可以認為這個量具有正態(tài)分布。從理論上看，正態(tài)分布具有很多良好的性質(zhì)，許多概率分布可以用它來近似;還有一些常用的概率分布是由它直接導出的，例如對數(shù)正態(tài)分布、t分布、F分布等。

數(shù)學原因：中心極限定理

 

 

二維空間上進行200萬步的隨機游走之后得到的圖案

中心極限定理的內(nèi)容為：大量獨立隨機變量的和經(jīng)過適當標準化之后趨近于正態(tài)分布，與這些變量原本的分布無關(guān)。比如，隨機游走的總距離就趨近于正態(tài)分布。下面我們介紹三種形式的中心極限定理：

獨立同分布的中心極限定理

設(shè)隨機變量X1，X2，......Xn，......獨立同分布，并且具有有限的數(shù)學期望和方差：E(Xi)=μ，D(Xi)=σ^2 (i=1,2....)，則對任意x，分布函數(shù)為

 

 

該定理說明，當n很大時，隨機變量近似地服從標準正態(tài)分布N(0，1)。因此，當n很大時，近似地服從正態(tài)分布N(nμ，nσ^2).該定理是中心極限定理最簡單又最常用的一種形式，在實際工作中，只要n足夠大，便可以把獨立同分布的隨機變量之和當作正態(tài)變量。這種方法在數(shù)理統(tǒng)計中用得很普遍，當處理大樣本時，它是重要工具。

 

棣莫佛-拉普拉斯定理

設(shè)隨機變量X(n=1,2,...,)服從參數(shù)為n，p(0

 

 

該定理表明，正態(tài)分布是二項分布的極限分布，當數(shù)充分大時，我們可以利用上式來計算二項分布的概率。

不同分布的中心極限定理

設(shè)隨機變量X1，X2，......Xn，......獨立同分布，它們的概率密度分別為fxk(x)，并有E(Xk)=μk，D(Xk)= σk^2，(k=1,2......)

 

 

若對任意正數(shù)τ，有：

 

 

對任意x，隨機變量Yn的分布函數(shù)Fn(x)，滿足：

 

該定理說明：所研究的隨機變量如果是有大量獨立的而且均勻的隨機變量相加而成，那么它的分布將近似于正態(tài)分布。

萬變不離其宗

與其他很多分布不同，正態(tài)分布進行適當?shù)淖儞Q之后，仍是正態(tài)分布。

兩個正態(tài)分布之積仍是正態(tài)分布

兩個獨立的服從正態(tài)分布的隨機變量之和服從正態(tài)分布

對一個正態(tài)分布進行高斯卷積還是正態(tài)分布

正態(tài)分布經(jīng)過傅立葉變換之后仍是正態(tài)分布

簡潔

 

 

奧卡姆剃刀強調(diào)一個哲學原則：在其他條件都相同下，最簡單的解就是最好的解。

對于任何一個用正態(tài)分布擬合的隨機分布，都可能存在一個多參數(shù)，更復雜，更準確的解法。但是我們?nèi)匀粫�傾向于選用正態(tài)分布，因為它在數(shù)學上很簡潔。

它的均值(mean)、中值(median)和眾數(shù)(mode)都相同

只需要用兩個參數(shù)就可以確定整個分布

圖形特性：

集中性：正態(tài)曲線的高峰位于正中央，即均數(shù)所在的位置。

對稱性：正態(tài)曲線以均數(shù)為中心，左右對稱，曲線兩端永遠不與橫軸相交。

均勻變動性：正態(tài)曲線由均數(shù)所在處開始，分別向左右兩側(cè)逐漸均勻下降。

曲線與橫軸間的面積總等于1，相當于概率密度函數(shù)的函數(shù)從正無窮到負無窮積分的概率為1。即頻率的總和為100%。

相關(guān)報道：

https://towardsdatascience.com/why-data-scientists-love-gaussian-6e7a7b726859

標簽：

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。