干凈整潔的數(shù)據(jù)是后續(xù)進行研究和分析的基礎(chǔ)。數(shù)據(jù)科學(xué)家們會花費大量的時間來清理數(shù)據(jù)集，毫不夸張地說，數(shù)據(jù)清洗會占據(jù)他們80%的工作時間，而真正用來分析數(shù)據(jù)的時間只占到20%左右。

所以，數(shù)據(jù)清洗到底是在清洗些什么？
通常來說，你所獲取到的原始數(shù)據(jù)不能直接用來分析，因為它們會有各種各樣的問題，如包含無效信息，列名不規(guī)范、格式不一致，存在重復(fù)值，缺失值，異常值等.....

本文會給大家介紹一些Python中自帶的Pandas和NumPy庫進行數(shù)據(jù)清洗的實用技巧。

一、 read_csv 讀取文件

這是讀取數(shù)據(jù)的入門級命令，在分析一個數(shù)據(jù)集的時候，很多信息其實是用不到的，因此，需要去除不必要的行或列。這里以csv文件為例，在導(dǎo)入的時候就可以通過設(shè)置pd.read_csv()里面的參數(shù)來實現(xiàn)這個目的。

先來感受一下官方文檔中給出的詳細(xì)解釋，里面的參數(shù)是相當(dāng)?shù)亩啵疚闹唤榻B比較常用的幾個，感興趣的話，可以好好研究一下文檔，這些參數(shù)還是非常好用的，能省去很多導(dǎo)入后整理的工作。

【header】默認(rèn)header=0，即將文件中的0行作為列名和數(shù)據(jù)的開頭，但有時候0行的數(shù)據(jù)是無關(guān)的，我們想跳過0行，讓1行作為數(shù)據(jù)的開頭，可以通過將header設(shè)置為1來實現(xiàn)。

【usecols】根據(jù)列的位置或名字，如[0,1,2]或[‘a(chǎn)’, ‘b’, ‘c’]，選出特定的列。

【nrows】要導(dǎo)入的數(shù)據(jù)行數(shù)，在數(shù)據(jù)量很大、但只想導(dǎo)入其中一部分時使用。

【names】：指定自定義列名。 此列表中不允許有重復(fù)項。

【index_col】: 指定用作數(shù)據(jù)框的行標(biāo)簽的列，以字符串名稱或列索引的形式給出

【na_values】：指定數(shù)據(jù)框中需要被識別為NA/NaN 的字符串或字符串列表
當(dāng)一列缺失時直接指定 na_values='-1'
當(dāng)多列缺失時，增加字典的鍵值對即可 na_values={'a':'-1','b':'-10'}

二、重新命名列

當(dāng)原始數(shù)據(jù)的列名不好理解，或者不夠簡潔時，可以用.rename()方法進行修改。這里我們把英文的列名改成中文，先創(chuàng)建一個字典，把要修改的列名定義好，然后調(diào)用rename()方法。

new_names = {'舊列名': '新列名'}
df.rename(columns=new_names, inplace=True)

三、重新設(shè)置索引

數(shù)據(jù)默認(rèn)的索引是從0開始的有序整數(shù)，但如果想把某一列設(shè)置為新的索引，除了可以用read_csv()里的參數(shù)index_col，還可以用.set_index()方法實現(xiàn)。

df.set_index('列名', inplace=True)

另外補充，如果數(shù)據(jù)經(jīng)過刪除或結(jié)構(gòu)調(diào)整后，我們可以重置索引，讓索引從0開始，依次排序。

df3.reset_index(drop=True)

四、用字符串操作規(guī)范列

字符串str操作是非常實用的，因為列中總是會包含不必要的字符，常用的方法如下：

lower()
upper()

str.lower() 是把大寫轉(zhuǎn)換成小寫，同理，str.upper()是把小寫轉(zhuǎn)換成大寫，將示例中用大寫字母表示的索引轉(zhuǎn)換成小寫。

capitalize()

設(shè)置首字母大寫

replace()

str.replace("a", "") 替換特定字符。這里把列中的a去掉，替換成空字符。

strip()

去除字符串中的頭尾空格、以及\n \t。

split()

str.split('x') 使用字符串中的'x'字符作為分隔符，將字符串分隔成列表。這里將列中的值以'.'進行分割。

get()

str.get() 選取列表中某個位置的值。接著上面分割后的結(jié)果，我們用str.get(0)取出列表中前一個位置的數(shù)值，生成新的一列。

contains()

str.contains() 判斷是否存在某個字符，返回的是布爾值。

find()

str.find("-")檢測字符串中是否包含"-"，如果包含，則返回該子字符串開始位置的索引值;如果不包含，則返回-1。

學(xué)完基本的字符串操作方法，我們來看一下如何結(jié)合NumPy來提高字符串操作的效率。
我們可以將Pandas中的.str()方法與NumPy的np.where函數(shù)相結(jié)合，np.where函數(shù)是Excel的IF()宏的矢量化形式，它的語法如下:

np.where(condition, then, else)

如果condition條件為真，則執(zhí)行then，否則執(zhí)行else。這里的condition條件可以是一個類數(shù)組的對象，也可以是一個布爾表達式，我們也可以利用np.where函數(shù)嵌套多個條件進行矢量化計算和判斷。

np.where(condition1, x1, 
        np.where(condition2, x2, 
            np.where(condition3, x3, ...)))

五、自定義函數(shù)規(guī)范列

接下來就要對列中的字符串進行整理，除了利用循環(huán)和.str()方法相結(jié)合的方式進行操作，我們還可以選擇用applymap()方法，它會將傳入的函數(shù)作用于整個DataFrame所有行列中的每個元素。

先定義函數(shù)get_citystate(item)，功能是只提取元素中的有效信息。然后，我們將這個函數(shù)傳入applymap()，并應(yīng)用于df3，看起來是不是干凈多了，結(jié)果如下：

六、copy

如果你沒聽說過它的話，我不得強調(diào)它的重要性。輸入下面的命令：

import pandas as pd
df1 = pd.DataFrame({  a :[0,0,0],  b : [1,1,1]})
df2 = df1
df2[ a ] = df2[ a ] + 1
df1.head()

你會發(fā)現(xiàn)df1已經(jīng)發(fā)生了改變。這是因為df2 = df1并不是生成一個df1的復(fù)制品并把它賦值給df2，而是設(shè)定一個指向df1的指針。所以只要是針對df2的改變，也會相應(yīng)地作用在df1上。為了解決這個問題，你既可以這樣做：

df2 = df1.copy()

也可以這樣做：

from copy import deepcopy
df2 = deepcopy(df1)

七、value_counts()

這個命令用于檢查值的分布。你想要檢查下“c”列中出現(xiàn)的值以及每個值所出現(xiàn)的頻率，可以使用：

df[ c ].value_counts()

下面是一些有用的小技巧/參數(shù)：

normalize = True:查看每個值出現(xiàn)的頻率而不是頻次數(shù)。

dropna = False: 把缺失值也保留在這次統(tǒng)計中。

sort = False: 將數(shù)據(jù)按照值來排序而不是按照出現(xiàn)次數(shù)排序。

df[‘c].value_counts().reset_index(): 將這個統(tǒng)計表轉(zhuǎn)換成pandas的dataframe并且進行處理。

八、lsin () ，依據(jù)指定ID來選取行

lsin () 用于過濾數(shù)據(jù)幀。Isin () 有助于選擇特定列中具有特定（或多個）值的行。
在SQL中我們可以使用 SELECT * FROM … WHERE ID in (‘A001’,‘C022’, …)來獲取含有指定ID的記錄。如果你也想在Pandas中做類似的事情，你可以使用：

df_filter = df[ ID ].isin([ A001 , C022 ,...])
df[df_filter]

九、select_dtypes()

select_dtypes() 的作用是，基于 dtypes 的列返回數(shù)據(jù)幀列的一個子集。這個函數(shù)的參數(shù)可設(shè)置為包含所有擁有特定數(shù)據(jù)類型的列，亦或者設(shè)置為排除具有特定數(shù)據(jù)類型的列。

# We ll use the same dataframe that we used for read_csv
framex =  df.select_dtypes(include="float64")# Returns only time column

十、pivot_table( )

pivot_table( ) 也是 Pandas 中一個非常有用的函數(shù)。如果對 pivot_table( ) 在 excel 中的使用有所了解，那么就非常容易上手了。

pivot_table(data, values=None, index=None, columns=None,aggfunc='mean', fill_value=None, margins=False, dropna=True, margins_name='All')

pivot_table有四個最重要的參數(shù)index、values、columns、aggfunc

• Index就是層次字段，要通過透視表獲取什么信息就按照相應(yīng)的順序設(shè)置字段
• Values可以對需要的計算數(shù)據(jù)進行篩選
• Columns類似Index可以設(shè)置列層次字段，它不是一個必要參數(shù)，作為一種分割數(shù)據(jù)的可選方式
• aggfunc參數(shù)可以設(shè)置我們對數(shù)據(jù)聚合時進行的函數(shù)操作

# Create a sample dataframe
school = pd.DataFrame({ "A" : [ "Jay" ,  "Usher" ,  "Nicky" , " Romero" ,  "Will" ], 
       "B" : [ "Masters" ,  "Graduate",  "Graduate" ,  ''Masters" ,  "Graduate" ], 
       "C" : [26, 22, 20, 23, 24]})# Lets create a pivot table to segregate students based on age and course
table = pd.pivot_table(school, values = "A" , index =[ "B" ,  "C" ], 
                         columns =[ "B" ], aggfunc = np.sum, fill_value="Not Available") 

table

十一、計算變量缺失率

df=pd.read_csv('train.csv')
def missing_cal(df):
    """
    df :數(shù)據(jù)集
    
    return：每個變量的缺失率
    """
    missing_series = df.isnull().sum()/df.shape[0]
    missing_df = pd.DataFrame(missing_series).reset_index()
    missing_df = missing_df.rename(columns={'index':'col',
                                            0:'missing_pct'})
    missing_df = missing_df.sort_values('missing_pct',ascending=False).reset_index(drop=True)
    return missing_df
missing_cal(df)

如果需要計算樣本的缺失率分布，只要加上參數(shù)axis=1

十二、獲取分組里最大值所在的行方法

分為分組中有重復(fù)值和無重復(fù)值兩種。無重復(fù)值的情況。

df = pd.DataFrame({'Sp':['a','b','c','d','e','f'], 'Mt':['s1', 's1', 's2','s2','s2','s3'], 'Value':[1,2,3,4,5,6], 'Count':[3,2,5,10,10,6]})
df

df.iloc[df.groupby(['Mt']).apply(lambda x: x['Count'].idxmax())]

先按Mt列進行分組，然后對分組之后的數(shù)據(jù)框使用idxmax函數(shù)取出Count最大值所在的列，再用iloc位置索引將行取出。有重復(fù)值的情況

df["rank"] = df.groupby("ID")["score"].rank(method="min", ascending=False).astype(np.int64)
df[df["rank"] == 1][["ID", "class"]]

對ID進行分組之后再對分?jǐn)?shù)應(yīng)用rank函數(shù)，分?jǐn)?shù)相同的情況會賦予相同的排名，然后取出排名為1的數(shù)據(jù)。

十三、多列合并為一行

df = pd.DataFrame({'id_part':['a','b','c','d'], 'pred':[0.1,0.2,0.3,0.4], 'pred_class':['women','man','cat','dog'], 'v_id':['d1','d2','d3','d1']})

df.groupby(['v_id']).agg({'pred_class': [', '.join],'pred': lambda x: list(x),
'id_part': 'first'}).reset_index()

十四、組內(nèi)排序

df = pd.DataFrame([['A',1],['A',3],['A',2],['B',5],['B',9]], columns = ['name','score'])

介紹兩種高效地組內(nèi)排序的方法。

df.sort_values(['name','score'], ascending = [True,False])
df.groupby('name').apply(lambda x: x.sort_values('score', ascending=False)).reset_index(drop=True)

十五、選擇特定類型的列

drinks = pd.read_csv('data/drinks.csv')
# 選擇所有數(shù)值型的列
drinks.select_dtypes(include=['number']).head()
# 選擇所有字符型的列
drinks.select_dtypes(include=['object']).head()
drinks.select_dtypes(include=['number','object','category','datetime']).head()
# 用 exclude 關(guān)鍵字排除指定的數(shù)據(jù)類型
drinks.select_dtypes(exclude=['number']).head()

十六、字符串轉(zhuǎn)換為數(shù)值

df = pd.DataFrame({'列1':['1.1','2.2','3.3'],
                  '列2':['4.4','5.5','6.6'],
                  '列3':['7.7','8.8','-']})
df
df.astype({'列1':'float','列2':'float'}).dtypes

用這種方式轉(zhuǎn)換第三列會出錯，因為這列里包含一個代表 0 的下劃線，pandas 無法自動判斷這個下劃線。為了解決這個問題，可以使用 to_numeric() 函數(shù)來處理第三列，讓 pandas 把任意無效輸入轉(zhuǎn)為 NaN。
df = df.apply(pd.to_numeric, errors='coerce').fillna(0)

十七、優(yōu)化 DataFrame 對內(nèi)存的占用

方法一：只讀取切實所需的列，使用usecols參數(shù)

cols = ['beer_servings','continent']
small_drinks = pd.read_csv('data/drinks.csv', usecols=cols)

方法二：把包含類別型數(shù)據(jù)的 object 列轉(zhuǎn)換為 Category 數(shù)據(jù)類型，通過指定 dtype 參數(shù)實現(xiàn)。

dtypes ={'continent':'category'}
smaller_drinks = pd.read_csv('data/drinks.csv',usecols=cols, dtype=dtypes)

十八、把字符串分割為多列

df = pd.DataFrame({'姓名':['張 三','李 四','王 五'],
                   '所在地':['北京-東城區(qū)','上海-黃浦區(qū)','廣州-白云區(qū)']})
df
df.姓名.str.split(' ', expand=True)
11.把 Series 里的列表轉(zhuǎn)換為 DataFrame
df = pd.DataFrame({'列1':['a','b','c'],'列2':[[10,20], [20,30], [30,40]]})
df

df_new = df.列2.apply(pd.Series)
pd.concat([df,df_new], axis='columns')

希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作能帶來一定的幫助，每天進步一點點，加油~