本文涉及pandas最常用的36個(gè)函數(shù),通過(guò)這些函數(shù)介紹如何完成數(shù)據(jù)生成和導(dǎo)入、數(shù)據(jù)清洗、預(yù)處理,以及最常見(jiàn)的數(shù)據(jù)分類,數(shù)據(jù)篩選,分類匯總,透視等最常見(jiàn)的操作。
生成數(shù)據(jù)表
常見(jiàn)的生成數(shù)據(jù)表的方法有兩種,第一種是導(dǎo)入外部數(shù)據(jù),第二種是直接寫入數(shù)據(jù)。
Excel中的“文件”菜單中提供了獲取外部數(shù)據(jù)的功能,支持?jǐn)?shù)據(jù)庫(kù)和文本文件和頁(yè)面的多種數(shù)據(jù)源導(dǎo)入。
Python支持從多種類型的數(shù)據(jù)導(dǎo)入。在開(kāi)始使用Python進(jìn)行數(shù)據(jù)導(dǎo)入前需要先導(dǎo)入numpy和pandas庫(kù)

導(dǎo)入外部數(shù)據(jù)

里面有很多可選參數(shù)設(shè)置,例如列名稱、索引列、數(shù)據(jù)格式等
直接寫入數(shù)據(jù)

數(shù)據(jù)表檢查
數(shù)據(jù)表檢查的目的是了解數(shù)據(jù)表的整體情況,獲得數(shù)據(jù)表的關(guān)鍵信息、數(shù)據(jù)的概況,例如整個(gè)數(shù)據(jù)表的大小、所占空間、數(shù)據(jù)格式、是否有 空值和重復(fù)項(xiàng)和具體的數(shù)據(jù)內(nèi)容,為后面的清洗和預(yù)處理做好準(zhǔn)備。
1.數(shù)據(jù)維度(行列)
Excel中可以通過(guò)CTRL+向下的光標(biāo)鍵,和CTRL+向右的光標(biāo)鍵 來(lái)查看行號(hào)和列號(hào)。Python中使用shape函數(shù)來(lái)查看數(shù)據(jù)表的維度,也就是行數(shù)和列數(shù)。
df.shape
2.數(shù)據(jù)表信息
使用info函數(shù)查看數(shù)據(jù)表的整體信息,包括數(shù)據(jù)維度、列名稱、數(shù)據(jù)格式和所占空間等信息。#數(shù)據(jù)表信息

3.查看數(shù)據(jù)格式
Excel中通過(guò)選中單元格并查看開(kāi)始菜單中的數(shù)值類型來(lái)判斷數(shù) 據(jù)的格式。Python中使用dtypes函數(shù)來(lái)返回?cái)?shù)據(jù)格式。
Dtypes是一個(gè)查看數(shù)據(jù)格式的函數(shù),可以一次性查看數(shù)據(jù)表中所 有數(shù)據(jù)的格式,也可以指定一列來(lái)單獨(dú)查看

4.查看空值
Excel中查看空值的方法是使用“定位條件”在“開(kāi)始”目錄下的“查找和選擇”目錄.
Isnull是Python中檢驗(yàn)空值的函數(shù)


5.查看唯一值
Excel中查看唯一值的方法是使用“條件格式”對(duì)唯一值進(jìn)行顏色 標(biāo)記。
Python中使用unique函數(shù)查看唯一值。

6.查看數(shù)據(jù)表數(shù)值
Python中的Values函數(shù)用來(lái)查看數(shù)據(jù)表中的數(shù)值

7.查看列名稱
Colums函數(shù)用來(lái)單獨(dú)查看數(shù)據(jù)表中的列名稱。

8.查看前10行數(shù)據(jù)
Head函數(shù)用來(lái)查看數(shù)據(jù)表中的前N行數(shù)據(jù)

9.查看后10行數(shù)據(jù)
Tail行數(shù)與head函數(shù)相反,用來(lái)查看數(shù)據(jù)表中后N行的數(shù)據(jù)

數(shù)據(jù)表清洗
本章介紹對(duì)數(shù)據(jù)表中的問(wèn)題進(jìn)行清洗,包括對(duì)空值、大小寫問(wèn)題、數(shù)據(jù)格式和重復(fù)值的處理。
1.處理空值(刪除或填充)
Excel中可以通過(guò)“查找和替換”功能對(duì)空值進(jìn)行處理
Python中處理空值的方法比較靈活,可以使用 Dropna函數(shù)用來(lái)刪除數(shù)據(jù)表中包含空值的數(shù)據(jù),也可以使用fillna函數(shù)對(duì)空值進(jìn)行填充。

也可以使用數(shù)字對(duì)空值進(jìn)行填充

使用price列的均值來(lái)填充NA字段,同樣使用fillna函數(shù),在要填充的數(shù)值中使用mean函數(shù)先計(jì)算price列當(dāng)前的均值,然后使用這個(gè)均值對(duì)NA進(jìn)行填充。

2.清理空格
字符中的空格也是數(shù)據(jù)清洗中一個(gè)常見(jiàn)的問(wèn)題

3.大小寫轉(zhuǎn)換
在英文字段中,字母的大小寫不統(tǒng)一也是一個(gè)常見(jiàn)的問(wèn)題。Excel中有UPPER,LOWER等函數(shù),Python中也有同名函數(shù)用來(lái)解決 大小寫的問(wèn)題。

4.更改數(shù)據(jù)格式
Excel中通過(guò)“設(shè)置單元格格式”功能可以修改數(shù)據(jù)格式。
Python中通過(guò)astype函數(shù)用來(lái)修改數(shù)據(jù)格式。

5.更改列名稱
Rename是更改列名稱的函數(shù),我們將來(lái)數(shù)據(jù)表中的category列更改為category-size。

6.刪除重復(fù)值
Excel的數(shù)據(jù)目錄下有“刪除重復(fù)項(xiàng)”的功能
Python中使用drop_duplicates函數(shù)刪除重復(fù)值

city列中beijing存在重復(fù),分別在第一位和最后一位 drop_duplicates()函數(shù)刪除重復(fù)值

設(shè)置keep='last‘’參數(shù)后,與之前刪除重復(fù)值的結(jié)果相反,第一位 出現(xiàn)的beijing被刪除

7.數(shù)值修改及替換
Excel中使用“查找和替換”功能就可以實(shí)現(xiàn)數(shù)值的替換
Python中使用replace函數(shù)實(shí)現(xiàn)數(shù)據(jù)替換

數(shù)據(jù)預(yù)處理
本章主要講的是數(shù)據(jù)的預(yù)處理,對(duì)清洗完的數(shù)據(jù)進(jìn)行整理以便后期的統(tǒng)計(jì)和分析工作。主要包括數(shù)據(jù)表的合并,排序,數(shù)值分列,數(shù)據(jù)分組及標(biāo)記等工作。
1.數(shù)據(jù)表合并
在Excel中沒(méi)有直接完成數(shù)據(jù)表合并的功能,可以通過(guò)VLOOKUP函數(shù)分步實(shí)現(xiàn)。在Python中可以通過(guò)merge函數(shù)一次性實(shí)現(xiàn)。

使用merge函數(shù)對(duì)兩個(gè)數(shù)據(jù)表進(jìn)行合并,合并的方式為inner,將 兩個(gè)數(shù)據(jù)表中共有的數(shù)據(jù)匹配到一起生成新的數(shù)據(jù)表。并命名為 df_inner。

合并的方式還有l(wèi)eft,right和outer方式

2.設(shè)置索引列
索引列可以進(jìn)行數(shù)據(jù)提取,匯總,數(shù)據(jù)篩選

3.排序(按索引,按數(shù)值)
Excel中可以通過(guò)數(shù)據(jù)目錄下的排序按鈕直接對(duì)數(shù)據(jù)表進(jìn)行排 序
Python中需要使用ort_values函數(shù)和sort_index函數(shù)完成排序

Sort_index函數(shù)用來(lái)將數(shù)據(jù)表按索引列的值進(jìn)行排序。

4.數(shù)據(jù)分組
Excel中可以通過(guò)VLOOKUP函數(shù)進(jìn)行近似匹配來(lái)完成對(duì)數(shù)值的分組,或者使用“數(shù)據(jù)透視表”來(lái)完成分組
Python中使用Where函數(shù)用來(lái)對(duì)數(shù)據(jù)進(jìn)行判斷和分組

還可以對(duì)多個(gè)字段的值進(jìn)行判斷后對(duì)數(shù)據(jù)進(jìn)行分組,下面的代碼中對(duì)city列等于beijing并且price列大于等于4000的數(shù)據(jù)標(biāo)記為1。

5.數(shù)據(jù)分列
Excel中的數(shù)據(jù)目錄下提供“分列”功能。
在Python中使用split函數(shù)實(shí)現(xiàn)分列在數(shù)據(jù)表中category列中的數(shù)據(jù)包含有兩個(gè)信息,前面的數(shù)字為類別id,后面的字母為size值。中間以連字符進(jìn)行連接。我們使用split函數(shù)對(duì)這個(gè)字段進(jìn)行拆分,并將拆分后的數(shù)據(jù)表匹配回原數(shù)據(jù)表中。


數(shù)據(jù)提取
1.按標(biāo)簽提取(loc)

使用冒號(hào)可以限定提取數(shù)據(jù)的范圍,冒號(hào)前面為開(kāi)始的標(biāo)簽值后面為結(jié)束的標(biāo)簽值。

Reset_index函數(shù)用于恢復(fù)索引,這里我們重新將date字段的日期 設(shè)置為數(shù)據(jù)表的索引,并按日期進(jìn)行數(shù)據(jù)提取。



2.按位置提取(iloc)
使用iloc函數(shù)按位置對(duì)數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行提取,這里冒號(hào)前后 的數(shù)字不再是索引的標(biāo)簽名稱,而是數(shù)據(jù)所在的位置,從0開(kāi)始。

iloc函數(shù)除了可以按區(qū)域提取數(shù)據(jù),還可以按位置逐條提取

前面方括號(hào)中的0,2,5表示數(shù)據(jù)所在行的位置,后面方括號(hào)中的數(shù)表示所在列的位置。
3.按標(biāo)簽和位置提?。╥x)
ix是loc和iloc的混合,既能按索引標(biāo)簽提取,也能按位置進(jìn)行數(shù) 據(jù)提取.

image.png
4.按條件提?。▍^(qū)域和條件值)
使用loc和isin兩個(gè)函數(shù)配合使用,按指定條件對(duì)數(shù)據(jù)進(jìn)行提取

將isin函數(shù)嵌套到loc的數(shù)據(jù)提取函數(shù)中,將判斷結(jié)果為Ture數(shù)據(jù) 提取出來(lái)。這里我們把判斷條件改為city值是否為beijing和shanghai。如果是就把這條數(shù)據(jù)提取出來(lái)。

數(shù)據(jù)篩選
按條件篩選(與、或、非)
Excel數(shù)據(jù)目錄下提供了“篩選”功能,用于對(duì)數(shù)據(jù)表按不同的條 件進(jìn)行篩選。
Python中使用loc函數(shù)配合篩選條件來(lái)完成篩選功能。配合sum和count函數(shù)還能實(shí)現(xiàn)Excel中sumif和countif函數(shù)的功能。使用“與”條件進(jìn)行篩選,條件是年齡大于25歲,并且城市為 beijing。




在前面的代碼后面增加city列,并使用count函數(shù)進(jìn)行計(jì)數(shù)。相當(dāng)于Excel中的countifs函數(shù)的功能

還有一種篩選的方式是用query函數(shù)


在前面的代碼后增加price字段和sum函數(shù)。對(duì)篩選后的price字段 進(jìn)行求和,相當(dāng)于Excel中的sumifs函數(shù)的功能。

數(shù)據(jù)匯總
Excel中使用分類匯總和數(shù)據(jù)透視可以按特定維度對(duì)數(shù)據(jù)進(jìn)行匯總,Python中使用的主要函數(shù)是groupby和pivot_table。
1.分類匯總



還可以對(duì)匯總后的數(shù)據(jù)同時(shí)按多個(gè)維度進(jìn)行計(jì)算


2.數(shù)據(jù)透視

Python中通過(guò)pivot_table函數(shù)實(shí)現(xiàn)同樣的效果


數(shù)據(jù)統(tǒng)計(jì)
1.數(shù)據(jù)采樣
Excel的數(shù)據(jù)分析功能中提供了數(shù)據(jù)抽樣的功能

Python通過(guò)sample函數(shù)完成數(shù)據(jù)采樣


Weights參數(shù)是采樣的權(quán)重,通過(guò)設(shè)置不同的權(quán)重可以更改采樣的結(jié)果


Sample函數(shù)中參數(shù)replace,用來(lái)設(shè)置采樣后是否放回

2.描述統(tǒng)計(jì)
Python中可以通過(guò)Describe對(duì)數(shù)據(jù)進(jìn)行描述統(tǒng)計(jì)

3.相關(guān)分析
Python中則通過(guò)corr函數(shù)完成相關(guān)分析的操作,并返回相關(guān)系數(shù)。

數(shù)據(jù)輸出
1.寫入Excel

2.寫入csv

參考
王彥平《從Excel到Python:數(shù)據(jù)分析進(jìn)階指南》