關(guān)于Excel,你一定用的到的36個(gè)Python函數(shù)

本文涉及pandas最常用的36個(gè)函數(shù),通過(guò)這些函數(shù)介紹如何完成數(shù)據(jù)生成和導(dǎo)入、數(shù)據(jù)清洗、預(yù)處理,以及最常見(jiàn)的數(shù)據(jù)分類,數(shù)據(jù)篩選,分類匯總,透視等最常見(jiàn)的操作。

生成數(shù)據(jù)表

常見(jiàn)的生成數(shù)據(jù)表的方法有兩種,第一種是導(dǎo)入外部數(shù)據(jù),第二種是直接寫入數(shù)據(jù)。

Excel中的“文件”菜單中提供了獲取外部數(shù)據(jù)的功能,支持?jǐn)?shù)據(jù)庫(kù)和文本文件和頁(yè)面的多種數(shù)據(jù)源導(dǎo)入。

Python支持從多種類型的數(shù)據(jù)導(dǎo)入。在開(kāi)始使用Python進(jìn)行數(shù)據(jù)導(dǎo)入前需要先導(dǎo)入numpy和pandas庫(kù)

導(dǎo)入外部數(shù)據(jù)

里面有很多可選參數(shù)設(shè)置,例如列名稱、索引列、數(shù)據(jù)格式等

直接寫入數(shù)據(jù)

數(shù)據(jù)表檢查

數(shù)據(jù)表檢查的目的是了解數(shù)據(jù)表的整體情況,獲得數(shù)據(jù)表的關(guān)鍵信息、數(shù)據(jù)的概況,例如整個(gè)數(shù)據(jù)表的大小、所占空間、數(shù)據(jù)格式、是否有 空值和重復(fù)項(xiàng)和具體的數(shù)據(jù)內(nèi)容,為后面的清洗和預(yù)處理做好準(zhǔn)備。

1.數(shù)據(jù)維度(行列)

Excel中可以通過(guò)CTRL+向下的光標(biāo)鍵,和CTRL+向右的光標(biāo)鍵 來(lái)查看行號(hào)和列號(hào)。Python中使用shape函數(shù)來(lái)查看數(shù)據(jù)表的維度,也就是行數(shù)和列數(shù)。

df.shape

2.數(shù)據(jù)表信息

使用info函數(shù)查看數(shù)據(jù)表的整體信息,包括數(shù)據(jù)維度、列名稱、數(shù)據(jù)格式和所占空間等信息。#數(shù)據(jù)表信息

3.查看數(shù)據(jù)格式

Excel中通過(guò)選中單元格并查看開(kāi)始菜單中的數(shù)值類型來(lái)判斷數(shù) 據(jù)的格式。Python中使用dtypes函數(shù)來(lái)返回?cái)?shù)據(jù)格式。

Dtypes是一個(gè)查看數(shù)據(jù)格式的函數(shù),可以一次性查看數(shù)據(jù)表中所 有數(shù)據(jù)的格式,也可以指定一列來(lái)單獨(dú)查看

4.查看空值

Excel中查看空值的方法是使用“定位條件”在“開(kāi)始”目錄下的“查找和選擇”目錄.

Isnull是Python中檢驗(yàn)空值的函數(shù)

5.查看唯一值

Excel中查看唯一值的方法是使用“條件格式”對(duì)唯一值進(jìn)行顏色 標(biāo)記。

Python中使用unique函數(shù)查看唯一值。

6.查看數(shù)據(jù)表數(shù)值

Python中的Values函數(shù)用來(lái)查看數(shù)據(jù)表中的數(shù)值

7.查看列名稱

Colums函數(shù)用來(lái)單獨(dú)查看數(shù)據(jù)表中的列名稱。

8.查看前10行數(shù)據(jù)

Head函數(shù)用來(lái)查看數(shù)據(jù)表中的前N行數(shù)據(jù)

9.查看后10行數(shù)據(jù)

Tail行數(shù)與head函數(shù)相反,用來(lái)查看數(shù)據(jù)表中后N行的數(shù)據(jù)

數(shù)據(jù)表清洗

本章介紹對(duì)數(shù)據(jù)表中的問(wèn)題進(jìn)行清洗,包括對(duì)空值、大小寫問(wèn)題、數(shù)據(jù)格式和重復(fù)值的處理。

1.處理空值(刪除或填充)

Excel中可以通過(guò)“查找和替換”功能對(duì)空值進(jìn)行處理

Python中處理空值的方法比較靈活,可以使用 Dropna函數(shù)用來(lái)刪除數(shù)據(jù)表中包含空值的數(shù)據(jù),也可以使用fillna函數(shù)對(duì)空值進(jìn)行填充。

也可以使用數(shù)字對(duì)空值進(jìn)行填充

使用price列的均值來(lái)填充NA字段,同樣使用fillna函數(shù),在要填充的數(shù)值中使用mean函數(shù)先計(jì)算price列當(dāng)前的均值,然后使用這個(gè)均值對(duì)NA進(jìn)行填充。

2.清理空格

字符中的空格也是數(shù)據(jù)清洗中一個(gè)常見(jiàn)的問(wèn)題

3.大小寫轉(zhuǎn)換

在英文字段中,字母的大小寫不統(tǒng)一也是一個(gè)常見(jiàn)的問(wèn)題。Excel中有UPPER,LOWER等函數(shù),Python中也有同名函數(shù)用來(lái)解決 大小寫的問(wèn)題。

4.更改數(shù)據(jù)格式

Excel中通過(guò)“設(shè)置單元格格式”功能可以修改數(shù)據(jù)格式。

Python中通過(guò)astype函數(shù)用來(lái)修改數(shù)據(jù)格式。

5.更改列名稱

Rename是更改列名稱的函數(shù),我們將來(lái)數(shù)據(jù)表中的category列更改為category-size。

6.刪除重復(fù)值

Excel的數(shù)據(jù)目錄下有“刪除重復(fù)項(xiàng)”的功能

Python中使用drop_duplicates函數(shù)刪除重復(fù)值

city列中beijing存在重復(fù),分別在第一位和最后一位 drop_duplicates()函數(shù)刪除重復(fù)值

設(shè)置keep='last‘’參數(shù)后,與之前刪除重復(fù)值的結(jié)果相反,第一位 出現(xiàn)的beijing被刪除

7.數(shù)值修改及替換

Excel中使用“查找和替換”功能就可以實(shí)現(xiàn)數(shù)值的替換

Python中使用replace函數(shù)實(shí)現(xiàn)數(shù)據(jù)替換

數(shù)據(jù)預(yù)處理

本章主要講的是數(shù)據(jù)的預(yù)處理,對(duì)清洗完的數(shù)據(jù)進(jìn)行整理以便后期的統(tǒng)計(jì)和分析工作。主要包括數(shù)據(jù)表的合并,排序,數(shù)值分列,數(shù)據(jù)分組及標(biāo)記等工作。

1.數(shù)據(jù)表合并

在Excel中沒(méi)有直接完成數(shù)據(jù)表合并的功能,可以通過(guò)VLOOKUP函數(shù)分步實(shí)現(xiàn)。在Python中可以通過(guò)merge函數(shù)一次性實(shí)現(xiàn)。

使用merge函數(shù)對(duì)兩個(gè)數(shù)據(jù)表進(jìn)行合并,合并的方式為inner,將 兩個(gè)數(shù)據(jù)表中共有的數(shù)據(jù)匹配到一起生成新的數(shù)據(jù)表。并命名為 df_inner。

合并的方式還有l(wèi)eft,right和outer方式

2.設(shè)置索引列

索引列可以進(jìn)行數(shù)據(jù)提取,匯總,數(shù)據(jù)篩選

3.排序(按索引,按數(shù)值)

Excel中可以通過(guò)數(shù)據(jù)目錄下的排序按鈕直接對(duì)數(shù)據(jù)表進(jìn)行排 序

Python中需要使用ort_values函數(shù)和sort_index函數(shù)完成排序

Sort_index函數(shù)用來(lái)將數(shù)據(jù)表按索引列的值進(jìn)行排序。

4.數(shù)據(jù)分組

Excel中可以通過(guò)VLOOKUP函數(shù)進(jìn)行近似匹配來(lái)完成對(duì)數(shù)值的分組,或者使用“數(shù)據(jù)透視表”來(lái)完成分組

Python中使用Where函數(shù)用來(lái)對(duì)數(shù)據(jù)進(jìn)行判斷和分組

還可以對(duì)多個(gè)字段的值進(jìn)行判斷后對(duì)數(shù)據(jù)進(jìn)行分組,下面的代碼中對(duì)city列等于beijing并且price列大于等于4000的數(shù)據(jù)標(biāo)記為1。

5.數(shù)據(jù)分列

Excel中的數(shù)據(jù)目錄下提供“分列”功能。

在Python中使用split函數(shù)實(shí)現(xiàn)分列在數(shù)據(jù)表中category列中的數(shù)據(jù)包含有兩個(gè)信息,前面的數(shù)字為類別id,后面的字母為size值。中間以連字符進(jìn)行連接。我們使用split函數(shù)對(duì)這個(gè)字段進(jìn)行拆分,并將拆分后的數(shù)據(jù)表匹配回原數(shù)據(jù)表中。

數(shù)據(jù)提取

1.按標(biāo)簽提取(loc)

使用冒號(hào)可以限定提取數(shù)據(jù)的范圍,冒號(hào)前面為開(kāi)始的標(biāo)簽值后面為結(jié)束的標(biāo)簽值。

Reset_index函數(shù)用于恢復(fù)索引,這里我們重新將date字段的日期 設(shè)置為數(shù)據(jù)表的索引,并按日期進(jìn)行數(shù)據(jù)提取。

2.按位置提取(iloc)

使用iloc函數(shù)按位置對(duì)數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行提取,這里冒號(hào)前后 的數(shù)字不再是索引的標(biāo)簽名稱,而是數(shù)據(jù)所在的位置,從0開(kāi)始。

iloc函數(shù)除了可以按區(qū)域提取數(shù)據(jù),還可以按位置逐條提取

前面方括號(hào)中的0,2,5表示數(shù)據(jù)所在行的位置,后面方括號(hào)中的數(shù)表示所在列的位置。

3.按標(biāo)簽和位置提?。╥x)

ix是loc和iloc的混合,既能按索引標(biāo)簽提取,也能按位置進(jìn)行數(shù) 據(jù)提取.

image.png

4.按條件提?。▍^(qū)域和條件值)

使用loc和isin兩個(gè)函數(shù)配合使用,按指定條件對(duì)數(shù)據(jù)進(jìn)行提取

將isin函數(shù)嵌套到loc的數(shù)據(jù)提取函數(shù)中,將判斷結(jié)果為Ture數(shù)據(jù) 提取出來(lái)。這里我們把判斷條件改為city值是否為beijing和shanghai。如果是就把這條數(shù)據(jù)提取出來(lái)。

數(shù)據(jù)篩選

按條件篩選(與、或、非)

Excel數(shù)據(jù)目錄下提供了“篩選”功能,用于對(duì)數(shù)據(jù)表按不同的條 件進(jìn)行篩選。

Python中使用loc函數(shù)配合篩選條件來(lái)完成篩選功能。配合sum和count函數(shù)還能實(shí)現(xiàn)Excel中sumif和countif函數(shù)的功能。使用“與”條件進(jìn)行篩選,條件是年齡大于25歲,并且城市為 beijing。

在前面的代碼后面增加city列,并使用count函數(shù)進(jìn)行計(jì)數(shù)。相當(dāng)于Excel中的countifs函數(shù)的功能

還有一種篩選的方式是用query函數(shù)

在前面的代碼后增加price字段和sum函數(shù)。對(duì)篩選后的price字段 進(jìn)行求和,相當(dāng)于Excel中的sumifs函數(shù)的功能。

數(shù)據(jù)匯總

Excel中使用分類匯總和數(shù)據(jù)透視可以按特定維度對(duì)數(shù)據(jù)進(jìn)行匯總,Python中使用的主要函數(shù)是groupby和pivot_table。

1.分類匯總

還可以對(duì)匯總后的數(shù)據(jù)同時(shí)按多個(gè)維度進(jìn)行計(jì)算

2.數(shù)據(jù)透視

Python中通過(guò)pivot_table函數(shù)實(shí)現(xiàn)同樣的效果

數(shù)據(jù)統(tǒng)計(jì)

1.數(shù)據(jù)采樣

Excel的數(shù)據(jù)分析功能中提供了數(shù)據(jù)抽樣的功能

Python通過(guò)sample函數(shù)完成數(shù)據(jù)采樣

Weights參數(shù)是采樣的權(quán)重,通過(guò)設(shè)置不同的權(quán)重可以更改采樣的結(jié)果

Sample函數(shù)中參數(shù)replace,用來(lái)設(shè)置采樣后是否放回

2.描述統(tǒng)計(jì)

Python中可以通過(guò)Describe對(duì)數(shù)據(jù)進(jìn)行描述統(tǒng)計(jì)

3.相關(guān)分析

Python中則通過(guò)corr函數(shù)完成相關(guān)分析的操作,并返回相關(guān)系數(shù)。

數(shù)據(jù)輸出

1.寫入Excel

2.寫入csv

參考

王彥平《從Excel到Python:數(shù)據(jù)分析進(jìn)階指南》

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 從Excel到Python:最常用的36個(gè)Pandas函數(shù) 本文涉及pandas最常用的36個(gè)函數(shù),通過(guò)這些函數(shù)介...
    天明豆豆閱讀 1,910評(píng)論 0 59
  • 本文涉及pandas最常用的36個(gè)函數(shù),通過(guò)這些函數(shù)介紹如何完成數(shù)據(jù)生成和導(dǎo)入、數(shù)據(jù)清洗、預(yù)處理,以及最常見(jiàn)的數(shù)據(jù)...
    統(tǒng)計(jì)學(xué)家閱讀 584評(píng)論 2 1
  • 一 赤色的沙被馬蹄揚(yáng)起,乘著風(fēng)遮蔽了天空,似乎要遠(yuǎn)離這片透著悲壯的戰(zhàn)場(chǎng)。 地上到處都是殘肢斷臂,幾乎沒(méi)有一具完整的...
    李梵心閱讀 971評(píng)論 8 10
  • 凌晨?jī)牲c(diǎn)多的初夏,躺在狹窄悶熱蝸居里的易穎感覺(jué)從睡覺(jué)前開(kāi)始就隱隱作痛的下腹涌出一股熱流,一手撫著相對(duì)于她瘦弱的身材...
    重陽(yáng)妹子閱讀 348評(píng)論 2 8
  • 姓名:王曉菁 公司:海南蔚藍(lán)時(shí)代實(shí)業(yè)有限公司 378期反省一組塾生【日精進(jìn)打卡第80天】 【經(jīng)典誦讀】 《六項(xiàng)精進(jìn)...
    曉妖菁閱讀 115評(píng)論 0 0

友情鏈接更多精彩內(nèi)容