十分鐘搞定pandas

轉(zhuǎn)載:http://www.cnblogs.com/chaosimple/p/4153083.html

本文是對(duì)pandas官方網(wǎng)站上《10 Minutes to pandas》的一個(gè)簡(jiǎn)單的翻譯,原文在這里。這篇文章是對(duì)pandas的一個(gè)簡(jiǎn)單的介紹,詳細(xì)的介紹請(qǐng)參考:Cookbook 。習(xí)慣上,我們會(huì)按下面格式引入所需要的包:

一、 創(chuàng)建對(duì)象

可以通過 Data Structure Intro Setion 來查看有關(guān)該節(jié)內(nèi)容的詳細(xì)信息。

1、可以通過傳遞一個(gè)list對(duì)象來創(chuàng)建一個(gè)Series,pandas會(huì)默認(rèn)創(chuàng)建整型索引

2、通過傳遞一個(gè)numpy array,時(shí)間索引以及列標(biāo)簽來創(chuàng)建一個(gè)DataFrame

3、通過傳遞一個(gè)能夠被轉(zhuǎn)換成類似序列結(jié)構(gòu)的字典對(duì)象來創(chuàng)建一個(gè)DataFrame

4、查看不同列的數(shù)據(jù)類型

5、如果你使用的是IPython,使用Tab自動(dòng)補(bǔ)全功能會(huì)自動(dòng)識(shí)別所有的屬性以及自定義的列,下圖中是所有能夠被自動(dòng)識(shí)別的屬性的一個(gè)子集

二、 查看數(shù)據(jù)

詳情請(qǐng)參閱:Basics Section

1、 查看frame中頭部和尾部的行

2、 顯示索引、列和底層的numpy數(shù)據(jù)

3、 describe()函數(shù)對(duì)于數(shù)據(jù)的快速統(tǒng)計(jì)匯總

4、 對(duì)數(shù)據(jù)的轉(zhuǎn)置

5、 按軸進(jìn)行排序

6、 按值進(jìn)行排序

三、 選擇

雖然標(biāo)準(zhǔn)的Python/Numpy的選擇和設(shè)置表達(dá)式都能夠直接派上用場(chǎng),但是作為工程使用的代碼,我們推薦使用經(jīng)過優(yōu)化的pandas數(shù)據(jù)訪問方式:.at, .iat, .loc, .iloc 和 .ix詳情請(qǐng)參閱Indexing and Selecing DataMultiIndex / Advanced Indexing。

獲取

1、 選擇一個(gè)單獨(dú)的列,這將會(huì)返回一個(gè)Series,等同于df.A:

2、 通過[]進(jìn)行選擇,這將會(huì)對(duì)行進(jìn)行切片

通過標(biāo)簽選擇

1、 使用標(biāo)簽來獲取一個(gè)交叉的區(qū)域

2、 通過標(biāo)簽來在多個(gè)軸上進(jìn)行選擇

3、 標(biāo)簽切片

4、 對(duì)于返回的對(duì)象進(jìn)行維度縮減

5、 獲取一個(gè)標(biāo)量

6、 快速訪問一個(gè)標(biāo)量(與上一個(gè)方法等價(jià))

通過位置選擇

1、 通過傳遞數(shù)值進(jìn)行位置選擇(選擇的是行)

2、 通過數(shù)值進(jìn)行切片,與numpy/python中的情況類似

3、 通過指定一個(gè)位置的列表,與numpy/python中的情況類似

4、 對(duì)行進(jìn)行切片

5、 對(duì)列進(jìn)行切片

6、 獲取特定的值

布爾索引

1、 使用一個(gè)單獨(dú)列的值來選擇數(shù)據(jù)

2、 使用where操作來選擇數(shù)據(jù)

3、 使用isin()方法來過濾

設(shè)置

1、 設(shè)置一個(gè)新的列

2、 通過標(biāo)簽設(shè)置新的值

3、 通過位置設(shè)置新的值

4、 通過一個(gè)numpy數(shù)組設(shè)置一組新值

上述操作結(jié)果如下:

5、 通過where操作來設(shè)置新的值

四、 缺失值處理

在pandas中,使用np.nan來代替缺失值,這些值將默認(rèn)不會(huì)包含在計(jì)算中,詳情請(qǐng)參閱:Missing Data Section

1、 reindex()方法可以對(duì)指定軸上的索引進(jìn)行改變/增加/刪除操作,這將返回原始數(shù)據(jù)的一個(gè)拷貝:

2、 去掉包含缺失值的行

3、 對(duì)缺失值進(jìn)行填充

4、 對(duì)數(shù)據(jù)進(jìn)行布爾填充

五、 相關(guān)操作

詳情請(qǐng)參與 Basic Section On Binary Ops

統(tǒng)計(jì)(相關(guān)操作通常情況下不包括缺失值)

1、 執(zhí)行描述性統(tǒng)計(jì)

2、 在其他軸上進(jìn)行相同的操作

3、 對(duì)于擁有不同維度,需要對(duì)齊的對(duì)象進(jìn)行操作。Pandas會(huì)自動(dòng)的沿著指定的維度進(jìn)行廣播

Apply

1、 對(duì)數(shù)據(jù)應(yīng)用函數(shù)

直方圖

具體請(qǐng)參照:Histogramming and Discretization

字符串方法

Series對(duì)象在其str屬性中配備了一組字符串處理方法,可以很容易的應(yīng)用到數(shù)組中的每個(gè)元素,如下段代碼所示。更多詳情請(qǐng)參考:Vectorized String Methods.

六、 合并

Pandas提供了大量的方法能夠輕松的對(duì)Series,DataFrame和Panel對(duì)象進(jìn)行各種符合各種邏輯關(guān)系的合并操作。具體請(qǐng)參閱:Merging section

Concat

Join

類似于SQL類型的合并,具體請(qǐng)參閱:Database style joining

Append

將一行連接到一個(gè)DataFrame上,具體請(qǐng)參閱Appending

七、 分組groupby

對(duì)于”group by”操作,我們通常是指以下一個(gè)或多個(gè)操作步驟:

  • (Splitting)按照一些規(guī)則將數(shù)據(jù)分為不同的組;

  • (Applying)對(duì)于每組數(shù)據(jù)分別執(zhí)行一個(gè)函數(shù);

  • (Combining)將結(jié)果組合到一個(gè)數(shù)據(jù)結(jié)構(gòu)中;

詳情請(qǐng)參閱:Grouping section

1、 分組并對(duì)每個(gè)分組執(zhí)行sum函數(shù)

2、 通過多個(gè)列進(jìn)行分組形成一個(gè)層次索引,然后執(zhí)行函數(shù)

統(tǒng)計(jì)每個(gè)分組的數(shù)量


深度截圖20170523093706.png

八、 Reshaping

詳情請(qǐng)參閱 Hierarchical IndexingReshaping。

Stack

數(shù)據(jù)透視表

詳情請(qǐng)參閱:Pivot Tables.

可以從這個(gè)數(shù)據(jù)中輕松的生成數(shù)據(jù)透視表:

九、 時(shí)間序列

Pandas在對(duì)頻率轉(zhuǎn)換進(jìn)行重新采樣時(shí)擁有簡(jiǎn)單、強(qiáng)大且高效的功能(如將按秒采樣的數(shù)據(jù)轉(zhuǎn)換為按5分鐘為單位進(jìn)行采樣的數(shù)據(jù))。這種操作在金融領(lǐng)域非常常見。具體參考:Time Series section。

1、 時(shí)區(qū)表示:

2、 時(shí)區(qū)轉(zhuǎn)換:

3、 時(shí)間跨度轉(zhuǎn)換:

4、 時(shí)期和時(shí)間戳之間的轉(zhuǎn)換使得可以使用一些方便的算術(shù)函數(shù)。

十、 Categorical

從0.15版本開始,pandas可以在DataFrame中支持Categorical類型的數(shù)據(jù),詳細(xì) 介紹參看:categorical introductionAPI documentation

1、 將原始的grade轉(zhuǎn)換為Categorical數(shù)據(jù)類型

2、 將Categorical類型數(shù)據(jù)重命名為更有意義的名稱

3、 對(duì)類別進(jìn)行重新排序,增加缺失的類別

4、 排序是按照Categorical的順序進(jìn)行的而不是按照字典順序進(jìn)行

5、 對(duì)Categorical列進(jìn)行排序時(shí)存在空的類別

十一、 畫圖

具體文檔參看:Plotting docs

對(duì)于DataFrame來說,plot是一種將所有列及其標(biāo)簽進(jìn)行繪制的簡(jiǎn)便方法:

十二、 導(dǎo)入和保存數(shù)據(jù)

CSV,參考:Writing to a csv file

1、 寫入csv文件

2、 從csv文件中讀取

HDF5

參考:HDFStores

1、 寫入HDF5存儲(chǔ)

2、 從HDF5存儲(chǔ)中讀取

Excel

參考:MS Excel

1、 寫入excel文件

2、 從excel文件中讀取

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容