中文字幕在线观看,亚洲а∨天堂久久精品9966,亚洲成a人片在线观看你懂的,亚洲av成人片无码网站,亚洲国产精品无码久久久五月天

p 值是什么?數(shù)據(jù)科學(xué)家用最簡單的方式告訴你

2020-12-04    來源:raincent

容器云強(qiáng)勢上線!快速搭建集群,上萬Linux鏡像隨意使用

即使是沒有任何統(tǒng)計(jì)學(xué)基礎(chǔ)的讀者朋友可能也聽說過「p 值」,但是鮮有文章能夠清楚解釋 p 值是什么,以及 p 值在統(tǒng)計(jì)學(xué)中的作用。本文是 TowardDataScience 的一篇博文,作者條理清楚地解釋了 p 值的相關(guān)內(nèi)容,并給出了一個(gè)簡單的例子,適合讀者參考。

還記得我作為暑期實(shí)習(xí)生第一次在 CERN 海外實(shí)習(xí)時(shí),大多數(shù)人都在討論,要超過「5-sigma」閾值(這意味著 p 值為 0.0000003)才能確認(rèn)發(fā)現(xiàn)了希格斯玻色子。

那時(shí)我對 p 值、假設(shè)檢驗(yàn)甚至統(tǒng)計(jì)顯著一無所知。

直到進(jìn)入數(shù)據(jù)科學(xué)領(lǐng)域后,我終于意識到了 p 值的含義,以及在某些實(shí)驗(yàn)中,p 值是如何成為決策工具的一部分的。

因此,我決定在這篇文章中解釋什么是 p 值以及如何在假設(shè)檢驗(yàn)中使用 p 值。希望能幫你更好、更直觀地理解 p 值。

本文共分四個(gè)部分,從假設(shè)檢驗(yàn)到理解 p 值,以及根據(jù) p 值指導(dǎo)我們的決策過程。我強(qiáng)烈建議你仔細(xì)閱讀全文,以便詳細(xì)地了解 p 值:

假設(shè)檢驗(yàn);
正態(tài)分布;
什么是 p 值;
統(tǒng)計(jì)顯著性。

假設(shè)檢驗(yàn)

 

 

假設(shè)檢驗(yàn)

在討論 p 值的意義之前,我們先理解一下假設(shè)檢驗(yàn)。在假設(shè)檢驗(yàn)中,常用 p 值確定結(jié)果的統(tǒng)計(jì)顯著性。

我們的最終目標(biāo)是確定結(jié)果的統(tǒng)計(jì)顯著性。而統(tǒng)計(jì)顯著性建立在這 3 個(gè)簡單概念之上:

假設(shè)檢驗(yàn)
正態(tài)分布
p 值

假設(shè)檢驗(yàn)是用來通過一組數(shù)據(jù)檢驗(yàn)針對總體的聲明(零假設(shè))有效性的。如果零假設(shè)不成立,我們就會相信備擇假設(shè)。

換句話說,我們需要提出聲明(零假設(shè)),并用樣本數(shù)據(jù)來檢驗(yàn)聲明是否有效。如果聲明是無效的,就選擇備擇假設(shè)。就這么簡單。

而要知道聲明是否有效,就要用 p 值來衡量證據(jù)的強(qiáng)度,從而了解到它是否有統(tǒng)計(jì)顯著性。如果證據(jù)支持備擇假設(shè),那就拒絕零假設(shè)并接受備擇假設(shè)。后面的章節(jié)中會解釋這些內(nèi)容。

我們舉個(gè)例子來更清晰地說明這一概念,這個(gè)例子會貫穿全文同時(shí)說明其他概念。

假設(shè)某個(gè)披薩店聲稱,他們的平均配送時(shí)間小于等于 30 分鐘,但你認(rèn)為他們的配送時(shí)間不止 30 分鐘。所以你做了假設(shè)檢驗(yàn),對配送時(shí)間隨機(jī)采樣來檢驗(yàn)這一說法:

零假設(shè)——平均配送時(shí)間小于等于 30 分鐘;
備擇假設(shè)——平均配送時(shí)間大于 30 分鐘。

這里的目標(biāo)是確定樣本數(shù)據(jù)中的證據(jù)能更好地支持哪種假設(shè)(零假設(shè)或備擇假設(shè))。

本例中用的是單尾檢驗(yàn),因?yàn)槲覀冎幌胫榔骄渌蜁r(shí)間是否大于 30 分鐘。

因?yàn)榕渌蜁r(shí)間小于等于 30 分鐘都是可以接受的,因此我們忽略另一個(gè)方向的可能性。這里想要檢驗(yàn)的是平均配送時(shí)間是否會大于 30 分鐘。換句話說,我們想知道披薩店是否在某種角度上騙了我們。

假設(shè)檢驗(yàn)的常用方法之一是 Z 檢驗(yàn)。這里我們不討論細(xì)節(jié),因?yàn)槲覀兿胍壤斫獗砻娴膬?nèi)容,然后再深入。

正態(tài)分布

 

 

平均值為 μ 標(biāo)準(zhǔn)差為 σ 的正態(tài)分布

正態(tài)分布是用來觀察數(shù)據(jù)分布的概率密度函數(shù)。

正態(tài)分布有兩個(gè)參數(shù)——平均值(μ)和標(biāo)準(zhǔn)差(σ)。

均值是分布的集中趨勢。它決定了正態(tài)分布峰值的位置。標(biāo)準(zhǔn)差是衡量可變性的標(biāo)準(zhǔn),它決定了均值到值的下降幅度。

正態(tài)分布通常和 68-95-99.7 規(guī)則(上圖所示)相關(guān):

68% 的數(shù)據(jù)在平均值(μ)±1 個(gè)標(biāo)準(zhǔn)差(σ)內(nèi);
95% 的數(shù)據(jù)在平均值(μ)±2 個(gè)標(biāo)準(zhǔn)差(σ)內(nèi);
99.7% 的數(shù)據(jù)在平均值(μ)±3 個(gè)標(biāo)準(zhǔn)差(σ)內(nèi)。

還記得文章開頭說的發(fā)現(xiàn)希格斯玻色子的「5-sigma」閾值嗎?在科學(xué)家證實(shí)發(fā)現(xiàn)希格斯玻色子之前,5-sigma 約為數(shù)據(jù)的「99.9999426696856%」。設(shè)置這么嚴(yán)格的閾值是為了避免潛在的錯(cuò)誤信號。

好了,F(xiàn)在你可能想知道「正態(tài)分布是如何應(yīng)用在假設(shè)檢驗(yàn)中的」。

因?yàn)槭怯?Z 檢驗(yàn)進(jìn)行假設(shè)檢驗(yàn)的,因此要計(jì)算 Z 分?jǐn)?shù)(用于檢驗(yàn)統(tǒng)計(jì)量),這是數(shù)據(jù)點(diǎn)到平均值的標(biāo)準(zhǔn)偏差數(shù)。在本文的例子中,每個(gè)數(shù)據(jù)點(diǎn)都是收集到的披薩配送時(shí)間。

 

 

計(jì)算每個(gè)數(shù)據(jù)點(diǎn)的 Z 分?jǐn)?shù)的公式。

對每個(gè)披薩配送時(shí)間點(diǎn)計(jì)算 Z 分?jǐn)?shù),并繪制出標(biāo)準(zhǔn)正態(tài)分布曲線時(shí),x 軸上的單位從分鐘變成了標(biāo)準(zhǔn)差單位,因?yàn)橐呀?jīng)通過計(jì)算(變量減去平均值再除以標(biāo)準(zhǔn)差,見上述公式)將變量標(biāo)準(zhǔn)化了。

標(biāo)準(zhǔn)正態(tài)分布曲線是很有用的,因?yàn)槲覀兛梢员容^測試結(jié)果和在標(biāo)準(zhǔn)差中有標(biāo)準(zhǔn)單位的「正態(tài)」總體,特別是在變量的單位不同的情況下。

 

 

Z 分?jǐn)?shù)的標(biāo)準(zhǔn)正態(tài)分布

Z 分?jǐn)?shù)可以告訴我們整個(gè)數(shù)據(jù)相對于總體平均值的位置。

我喜歡 Will Koehrsen 的說法——Z 分?jǐn)?shù)越高或越低,結(jié)果就越不可能偶然發(fā)生,結(jié)果就越有可能有意義。

但多高(低)才足以說明結(jié)果是有意義的呢?

這就是解決這個(gè)難題的最后一片拼圖——p 值。根據(jù)實(shí)驗(yàn)開始前設(shè)定的顯著水平(alpha)檢驗(yàn)結(jié)果是否具有統(tǒng)計(jì)學(xué)意義。

什么是 P 值

與其用維基百科給出的定義來解釋 p 值,不如用文中的披薩配送時(shí)間為例來解釋它。

對披薩配送時(shí)間隨機(jī)采樣,目的是檢查平均配送時(shí)間是否大于 30 分鐘。如果最終的結(jié)果支持披薩店的說法(平均配送時(shí)間小于等于 30 分鐘),那就接受零假設(shè)。否則,就拒絕零假設(shè)。

因此,p 值的工作就是回答這個(gè)問題:

如果我生活在披薩配送時(shí)間小于等于 30 分鐘(零假設(shè)成立)的世界中,那我在真實(shí)世界中得到的證據(jù)有多令人驚訝?

p 值用數(shù)字(概率)回答了這一問題。

p 值越低,證據(jù)越令人驚訝,零假設(shè)越荒謬。

當(dāng)零假設(shè)很荒謬的時(shí)候還能做什么?可以拒絕零假設(shè)并轉(zhuǎn)而選擇備擇假設(shè)。

如果 p 值低于之前定義的顯著水平(人們一般將它稱為 alpha,但我將它稱之為荒謬閾值——別問為什么,我只是覺得這樣更容易理解),那么就可以拒絕零假設(shè)。

現(xiàn)在我們理解了 p 值是什么意思。接下來把 p 值用到文中的例子中。

現(xiàn)在已經(jīng)抽樣得到了一些配送時(shí)間,計(jì)算后發(fā)現(xiàn)平均配送時(shí)間要長 10 分鐘,p 值為 0.03。

這意味著在披薩配送時(shí)間小于等于 30 分鐘(零假設(shè)成立)的世界中,由于隨機(jī)噪聲的影響,我們有 3% 的概率會看到披薩配送時(shí)間延長了至少 10 分鐘。

p 值越低,結(jié)果越有意義,因?yàn)樗惶赡苁怯稍肼曇鸬摹?/p>

大多數(shù)人對于 p 值都有一個(gè)常見的誤解:

p 值為 0.03 意味著有 3%(概率百分比)的結(jié)果是偶然決定的——這是錯(cuò)誤的。

人們都想得到確切的答案(包括我),而這也是我在很長時(shí)間內(nèi)都對 p 值的解釋感到困惑的原因。

p 值不能證明任何事。這只是一種根據(jù)驚訝程度做出合理決策的基礎(chǔ)方法。Cassie Kozyrkov

我們是如何用 0.03 的 p 值來做出合理決策的(重點(diǎn)):

想象我們生活在平均配送時(shí)間小于等于 30 分鐘的世界——因?yàn)槲覀冃湃闻_店(我們最初的信念)!

分析收集的配送時(shí)間樣本后,p 值為 0.03,低于 0.05 的置信水平(假設(shè)在實(shí)驗(yàn)之前就設(shè)置好了),因此可以說結(jié)果是具有*統(tǒng)計(jì)顯著性*的。

因?yàn)槲覀円恢毕嘈排_店可以在 30 分鐘內(nèi)配送披薩,現(xiàn)在需要考慮的是這一信念是否仍然有意義,因?yàn)榻Y(jié)果告訴我們,披薩店沒能兌現(xiàn)承諾,而且結(jié)果是具有統(tǒng)計(jì)學(xué)意義的。

那該怎么辦?我們先試著用各種方法使初始信念(零假設(shè))成立。但是因?yàn)榕_店的口碑越來越差,并且經(jīng)常找導(dǎo)致配送延遲的借口,我們自己都覺得再相信披薩店是很可笑的事情,因此,我們決定拒絕零假設(shè)。

最終,我們做出了不再從這家披薩店買披薩的合理決定。

到現(xiàn)在為止,你可能已經(jīng)注意到了,在上面的例子中,p 值不能證明或決定任何事。

在我看來,當(dāng)結(jié)果有統(tǒng)計(jì)學(xué)意義時(shí),p 值可以作為挑戰(zhàn)初始信念(零假設(shè))的工具。在我們認(rèn)為自己的信念荒謬(假設(shè) p 值表明結(jié)果具有統(tǒng)計(jì)顯著性)的那一刻,就放棄了自己的初始信念(拒絕零假設(shè))并做出了更合理的決定。

統(tǒng)計(jì)顯著性

這是最后一步,將所有內(nèi)容放在一起,并檢驗(yàn)結(jié)果是否有統(tǒng)計(jì)學(xué)意義。

只有 p 值是不夠的,還要設(shè)定閾值(即顯著水平——alpha)。為了避免偏差,實(shí)驗(yàn)開始之前就應(yīng)該設(shè)定 alpha。如果觀測的 p 值小于 alpha,那就可以得出結(jié)論——結(jié)果具有統(tǒng)計(jì)顯著性。

經(jīng)驗(yàn)法則一般將 alpha 設(shè)定為 0.05 或 0.01(同樣,值取決于你的問題)。

如上文所述,假設(shè)在實(shí)驗(yàn)開始前將 alpha 設(shè)置為 0.05,得到的結(jié)果具有統(tǒng)計(jì)顯著性,因?yàn)?p 值(0.03)小于 alpha。

為便于參考,整個(gè)實(shí)驗(yàn)的基本步驟如下:

陳述零假設(shè);
陳述備擇假設(shè);
確定 alpha 值;
找到和 alpha 水平相關(guān)的 Z 分?jǐn)?shù);
根據(jù)公式計(jì)算檢驗(yàn)統(tǒng)計(jì)量;

如果檢驗(yàn)統(tǒng)計(jì)量的值比 alpha 水平的 Z 分?jǐn)?shù)小(或 p 值小于 alpha 值),拒絕零假設(shè)。否則,接受零假設(shè)。

 

 

步驟 5 計(jì)算檢驗(yàn)統(tǒng)計(jì)量的公式。

原文鏈接:https://towardsdatascience.com/p-values-explained-by-data-scientist-f40a746cfc8

標(biāo)簽: 數(shù)據(jù) 蒲Ъ

版權(quán)申明:本站文章部分自網(wǎng)絡(luò),如有侵權(quán),請聯(lián)系:west999com@outlook.com
特別注意:本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)!
本站所提供的圖片等素材,版權(quán)歸原作者所有,如需使用,請與原作者聯(lián)系。

上一篇:華為發(fā)布面向2025十大趨勢

下一篇:我們是如何刪除 PB 級重復(fù)數(shù)據(jù)的?