筆者按，一些小的技巧在編程領(lǐng)域可能會非常有用，在數(shù)據(jù)科學領(lǐng)域同樣如此。數(shù)據(jù)科學愛好者 Parul Pandey 在近日發(fā)表了一篇博文，分享了在數(shù)據(jù)科學中非常實用的 10 個小技巧。筆者將他的文章編譯整理如下。

有時候，一點小小的黑客行為可以節(jié)省時間，挽救生命。一個小小的快捷方式或附加組件有時會被證明是天賜之物，并且可以真正提高生產(chǎn)力。所以，下面是我最喜歡的一些技巧，我以本文的形式一起使用和編譯它們。其中，有些可能是相當有名的，有些可能是新的，但我相信下次您從事數(shù)據(jù)分析項目時，它們會非常有用。

1.Profiling the pandas dataframe

Profiling 是一個幫助我們理解數(shù)據(jù)的程序，而 Pandas Profiling 正是實現(xiàn)這一點的一個 python 包。這是對 pandas 數(shù)據(jù)幀進行探索性數(shù)據(jù)分析的一種簡單快速的方法。pandas df.describe()和 df.info()函數(shù)通常用作 EDA 過程的第一步。但是，它只提供了非�；�本的數(shù)據(jù)概述，對于大型數(shù)據(jù)集沒有太大幫助。另一方面，pandas 分析函數(shù)使用 df.profile_report()擴展 pandas 數(shù)據(jù)幀，以便快速進行數(shù)據(jù)分析。它用一行代碼顯示了大量信息，在交互式 HTML 報告中也顯示了這些信息。

對于給定的數(shù)據(jù)集，pandas 分析包計算以下統(tǒng)計信息：

 

 

Pandas Profiling 包計算統(tǒng)計信息

安裝

使用

讓我們使用古老的 Titanic 數(shù)據(jù)集來演示通用的 Python 分析器的功能。

注：在這篇文章發(fā)表一周后，Pandas-Profiling 發(fā)布了一個升級版本 2.0.0。其語法發(fā)生了一些變化，事實上，功能已經(jīng)包含在 pandas 中，報告也變得更加全面。以下是最新的語法用法：

使用

要在 Jupyter notebook 中顯示報告，請運行：

這一行代碼就是在 Jupyter notebook 中顯示數(shù)據(jù)分析報告所需的全部代碼。報告非常詳細，必要時包括圖表。

 

 

還可以將報告導出到具有以下代碼的交互式 HTML 文件中。

2.第二步，為 pandas plots 帶來交互性

pandas 有一個內(nèi)置的.plot()函數(shù)作為數(shù)據(jù)幀類的一部分。然而，用這個函數(shù)呈現(xiàn)的可視化并不是交互式的，這使得它不那么吸引人。相反，也不能排除使用 pandas.dataframe.plot()函數(shù)繪制圖表的易用性。如果我們不需要對代碼進行重大修改，就可以像繪制 pandas plots 那樣繪出交互式圖表呢?你可以在 Cufflinks 庫的幫助下做到這一點。

Cufflinks 將 plotly 的力量與 pandas 的靈活性結(jié)合起來，便于繪制。現(xiàn)在讓我們來看看如何安裝這個庫并讓它在 pandas 中工作。

是時候用 Titanic 數(shù)據(jù)集來展示它的魔法了。

df.iplot()

 

 

df.iplot() vs df.plot()

右視圖顯示的是靜態(tài)圖表，左圖表是交互式的，更詳細地說，所有這一切在語法上都沒有重大變化。

點擊這里獲取更多的示例。

3.一點點 Magic

Magic 命令是 Jupyter notebook 中的一組方便的函數(shù)，旨在解決標準數(shù)據(jù)分析中的一些常見問題。在%lsmagic 的幫助下，您可以看到所有可用的 magic。

 

 

所有可用的 magic 函數(shù)列表

magic 命令有兩種：行 magics(前綴為一個% 字符并在一行輸入上操作)和單元 magics(用%% 前綴關(guān)聯(lián)并在多行輸入上操作)。如果設(shè)置為 1，則可以調(diào)用 magic 函數(shù)，而無需鍵入初始百分比。

讓我們看看其中一些在常見數(shù)據(jù)分析任務(wù)中可能有用的功能：

% pastebin

%Pastebin 將代碼上載到 Pastebin 并返回 URL。Pastebin 是一種在線內(nèi)容托管服務(wù)，我們可以在其中存儲純文本(如源代碼片段)，然后可以與其他人共享 URL。事實上，Github gist 也類似于 Pastebin，盡管有版本控制。

考慮使用包含以下內(nèi)容的 python script file.py：

使用 Jupyter notebook 中的%pastebin 生成 pastebin url

 

 

%matplotlib notebook

%matplotlib inline 函數(shù)用于呈現(xiàn) Jupyter noteboo 中的靜態(tài) matplotlib 繪圖。嘗試用 notebook 替換內(nèi)嵌部件，以輕松獲得可縮放和可調(diào)整大小的繪圖。確保在導入 Matplotlib 庫之前調(diào)用了函數(shù)。

 

 

%matplotlib inline vs %matplotlib notebook

%run

%run 函數(shù)在 notebook 內(nèi)運行 python 腳本。

%run file.py

%%writefile

%WriteFile 將單元格的內(nèi)容寫入文件。在這里，代碼將被寫入一個名為 foo 的文件，并保存在當前目錄中。

 

 

%%latex

%%latex 函數(shù)將單元格內(nèi)容呈現(xiàn)為 LaTeX。它可用于在單元中編寫數(shù)學公式和方程。

 

 

4.發(fā)現(xiàn)和消除錯誤

interactive debugger 也是一個神奇的函數(shù)，但我已經(jīng)為它提供了自己的一個類別。如果在運行代碼單元時遇到異常，請在新行中鍵入%debug 并運行它。這將打開一個交互式調(diào)試環(huán)境，將您帶到發(fā)生異常的位置。您還可以檢查程序中分配的變量值，并在此處執(zhí)行操作。要退出調(diào)試器，請單擊 q。

 

 

5.輸出也可以很漂亮

如果您想為數(shù)據(jù)結(jié)構(gòu)生成美觀的表示，pprint 是你想要的模塊，它在打印字典或 JSON 數(shù)據(jù)時特別有用。讓我們來看一個使用 print 和 pprint 顯示輸出的示例。

 

 

 

 

 

6.突出報警框

我們可以在您的 Jupyter 筆記本中使用警告/注釋框來突出顯示重要的內(nèi)容或任何需要突出顯示的內(nèi)容。注釋的顏色取決于警報的類型。只需在需要突出顯示的單元格中添加以下代碼。

 

7.打印單元格的所有輸出

 

考慮一個包含以下代碼行的 Jupyter notebook 單元：

In [1]: 10+5

11+6

Out [1]: 17

通常情況下，單元格中只有最后一個輸出會被打印出來，對于其他輸出，我們需要添加 print()函數(shù)。好吧，其實我們只需在 notebook 頂部添加以下代碼片段就可以打印所有輸出。

現(xiàn)在所有的輸出都被一個接一個地打印出來

In [1]: 10+5

11+6

12+7

Out [1]: 15

Out [1]: 17

Out [1]: 19

要恢復到原始設(shè)置：

8.使用「i」文件運行 python 腳本

從命令行運行 python 腳本的一種典型方法是：python hello.py。但是，如果您在運行同一腳本(如 python)時添加了一個額外的-i hello.py，那么它提供了更多的優(yōu)勢。讓我們看看怎么做。

首先，只要程序不結(jié)束，python 就不會退出解釋器。因此，我們可以檢查變量的值以及程序中定義的函數(shù)的正確性。

其次，我們可以通過以下方式輕松調(diào)用 Python 調(diào)試器，因為我們?nèi)栽诮忉屍髦校?/p>

 

這將使我們進入異常發(fā)生的位置，然后我們可以處理代碼。

 

 

查看來源可以點擊這里。

9.自動注釋代碼

ctrl/cmd+/自動將單元格中選定的行注釋掉，再次點擊組合將取消對同一行代碼的注釋。

 

 

10.刪除容易恢復難

你有沒有不小心刪除了 Jupyter notebook 上的一個單元的經(jīng)歷?如果有，那么這里有一個快捷方式可以撤消刪除操作。

如果刪除了單元格的內(nèi)容，則可以通過按 ctrl/cmd+z 輕松恢復該內(nèi)容。

如果需要恢復整個已刪除單元格，請按 Esc+Z 或 EDIT > Undo 撤銷刪除單元格。

 

 

結(jié)論

在本文中，我列出了在使用 Python 和 Jupyter notebook 時收集到的主要技巧。我相信它們會對你有用，你會從這篇文章中收回一些東西。好了，開始快樂的編碼之旅吧!.

標簽： 數(shù)據(jù)分析 Python

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。