采樣問題是數(shù)據(jù)科學(xué)中的常見問題，對(duì)此，WalmartLabs 的數(shù)據(jù)科學(xué)家 Rahul Agarwal 分享了數(shù)據(jù)科學(xué)家需要了解的 5 種采樣方法，編譯整理如下。

數(shù)據(jù)科學(xué)實(shí)際上是就是研究算法。

我每天都在努力學(xué)習(xí)許多算法，所以我想列出一些最常見和最常用的算法。

本文介紹了在處理數(shù)據(jù)時(shí)可以使用的一些最常見的采樣技術(shù)。

簡(jiǎn)單隨機(jī)抽樣

假設(shè)您要選擇一個(gè)群體的子集，其中該子集的每個(gè)成員被選擇的概率都相等。

下面我們從一個(gè)數(shù)據(jù)集中選擇 100 個(gè)采樣點(diǎn)。

sample_df = df.sample(100)

分層采樣

 

 

假設(shè)我們需要估計(jì)選舉中每個(gè)候選人的平均票數(shù)�，F(xiàn)假設(shè)該國(guó)有 3 個(gè)城鎮(zhèn)：

A 鎮(zhèn)有 100 萬(wàn)工人，
B 鎮(zhèn)有 200 萬(wàn)工人，以及
C 鎮(zhèn)有 300 萬(wàn)退休人員。

我們可以選擇在整個(gè)人口中隨機(jī)抽取一個(gè) 60 大小的樣本，但在這些城鎮(zhèn)中，隨機(jī)樣本可能不太平衡，因此會(huì)產(chǎn)生偏差，導(dǎo)致估計(jì)誤差很大。

相反，如果我們選擇從 A、B 和 C 鎮(zhèn)分別抽取 10、20 和 30 個(gè)隨機(jī)樣本，那么我們可以在總樣本大小相同的情況下，產(chǎn)生較小的估計(jì)誤差。

使用 python 可以很容易地做到這一點(diǎn)：

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y,
stratify=y,
test_size=0.25)

 

水塘采樣

 

 

我喜歡這個(gè)問題陳述：

假設(shè)您有一個(gè)項(xiàng)目流，它長(zhǎng)度較大且未知以至于我們只能迭代一次。
創(chuàng)建一個(gè)算法，從這個(gè)流中隨機(jī)選擇一個(gè)項(xiàng)目，這樣每個(gè)項(xiàng)目都有相同的可能被選中。

我們?cè)趺茨茏龅竭@一點(diǎn)?

假設(shè)我們必須從無(wú)限大的流中抽取 5 個(gè)對(duì)象，且每個(gè)元素被選中的概率都相等。

import randomdef generator(max):
number = 1
while number < max:
number += 1
yield number# Create as stream generator
stream = generator(10000)# Doing Reservoir Sampling from the stream
k=5
reservoir = []
for i, element in enumerate(stream):
if i+1<= k:
reservoir.append(element)
else:
probability = k/(i+1)
if random.random() < probability:
# Select item in stream and remove one of the k items already selected
reservoir[random.choice(range(0,k))] = elementprint(reservoir)
------------------------------------
[1369, 4108, 9986, 828, 5589]

從數(shù)學(xué)上可以證明，在樣本中，流中每個(gè)元素被選中的概率相同。這是為什么呢?

當(dāng)涉及到數(shù)學(xué)問題時(shí)，從一個(gè)小問題開始思考總是有幫助的。

所以，讓我們考慮一個(gè)只有 3 個(gè)項(xiàng)目的流，我們必須保留其中 2 個(gè)。

當(dāng)我們看到第一個(gè)項(xiàng)目，我們把它放在清單上，因?yàn)槲覀兊乃�塘有空間。在我們看到第二個(gè)項(xiàng)目時(shí)，我們把它放在列表中，因?yàn)槲覀兊乃�塘還是有空間。

現(xiàn)在我們看到第三個(gè)項(xiàng)目。這里是事情開始變得有趣的地方。我們有 2/3 的概率將第三個(gè)項(xiàng)目放在清單中。

現(xiàn)在讓我們看看第一個(gè)項(xiàng)目被選中的概率：

移除第一個(gè)項(xiàng)目的概率是項(xiàng)目 3 被選中的概率乘以項(xiàng)目 1 被隨機(jī)選為水塘中 2 個(gè)要素的替代候選的概率。這個(gè)概率是：2/3*1/2 = 1/3
因此，選擇項(xiàng)目 1 的概率為：1–1/3=2/3

我們可以對(duì)第二個(gè)項(xiàng)目使用完全相同的參數(shù)，并且可以將其擴(kuò)展到多個(gè)項(xiàng)目。

因此，每個(gè)項(xiàng)目被選中的概率相同：2/3 或者用一般的公式表示為 K/N

隨機(jī)欠采樣和過采樣

 

 

我們經(jīng)常會(huì)遇到不平衡的數(shù)據(jù)集。

一種廣泛采用的處理高度不平衡數(shù)據(jù)集的技術(shù)稱為重采樣。它包括從多數(shù)類(欠采樣)中刪除樣本或向少數(shù)類(過采樣)中添加更多示例。

讓我們先創(chuàng)建一些不平衡數(shù)據(jù)示例。

from sklearn.datasets import make_classificationX, y = make_classification(
n_classes=2, class_sep=1.5, weights=[0.9, 0.1],
n_informative=3, n_redundant=1, flip_y=0,
n_features=20, n_clusters_per_class=1,
n_samples=100, random_state=10
)X = pd.DataFrame(X)
X['target'] = y

我們現(xiàn)在可以使用以下方法進(jìn)行隨機(jī)過采樣和欠采樣：

num_0 = len(X[X['target']==0])
num_1 = len(X[X['target']==1])
print(num_0,num_1)# random undersampleundersampled_data = pd.concat([ X[X['target']==0].sample(num_1) , X[X['target']==1] ])
print(len(undersampled_data))# random oversampleoversampled_data = pd.concat([ X[X['target']==0] , X[X['target']==1].sample(num_0, replace=True) ])
print(len(oversampled_data))------------------------------------------------------------
OUTPUT:
90 10
20
180

使用 imbalanced-learn 進(jìn)行欠采樣和過采樣

imbalanced-learn(imblearn)是一個(gè)用于解決不平衡數(shù)據(jù)集問題的 python 包，它提供了多種方法來(lái)進(jìn)行欠采樣和過采樣。

a. 使用 Tomek Links 進(jìn)行欠采樣：

imbalanced-learn 提供的一種方法叫做 Tomek Links。Tomek Links 是鄰近的兩個(gè)相反類的例子。

在這個(gè)算法中，我們最終從 Tomek Links 中刪除了大多數(shù)元素，這為分類器提供了一個(gè)更好的決策邊界。

 

 

from imblearn.under_sampling import TomekLinks

tl = TomekLinks(return_indices=True, ratio='majority')
X_tl, y_tl, id_tl = tl.fit_sample(X, y)

b. 使用 SMOTE 進(jìn)行過采樣：

在 SMOE(Synthetic Minority Oversampling Technique)中，我們?cè)诂F(xiàn)有元素附近合并少數(shù)類的元素。

 

 

from imblearn.over_sampling import SMOTE

smote = SMOTE(ratio='minority')
X_sm, y_sm = smote.fit_sample(X, y)

imbLearn 包中還有許多其他方法，可以用于欠采樣(Cluster Centroids, NearMiss 等)和過采樣(ADASYN 和 bSMOTE)。

結(jié)論

算法是數(shù)據(jù)科學(xué)的生命線。

抽樣是數(shù)據(jù)科學(xué)中的一個(gè)重要課題，但我們實(shí)際上并沒有討論得足夠多。

有時(shí)，一個(gè)好的抽樣策略會(huì)大大推進(jìn)項(xiàng)目的進(jìn)展。錯(cuò)誤的抽樣策略可能會(huì)給我們帶來(lái)錯(cuò)誤的結(jié)果。因此，在選擇抽樣策略時(shí)應(yīng)該小心。

如果你想了解更多有關(guān)數(shù)據(jù)科學(xué)的知識(shí)，我想把 Andrew Ng 的這門優(yōu)秀課程推薦給你，這個(gè)課程是我入門數(shù)據(jù)科學(xué)的法寶，你一定要去看看。

via：https://towardsdatascience.com/the-5-sampling-algorithms-every-data-scientist-need-to-know-43c7bc11d17c

標(biāo)簽： 數(shù)據(jù) 蒲Ъ

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。