在數(shù)據(jù)分析過程中，首先就是對(duì)數(shù)據(jù)進(jìn)行清洗和處理，而使用 python 進(jìn)行處理的同學(xué)對(duì) Pandas包肯定是再熟悉不過了。Pandas 的功能很強(qiáng)大，基本的數(shù)據(jù)處理操作都可以找到對(duì)應(yīng)函數(shù)去使用。本文使用10個(gè)案例來說明其強(qiáng)大的解決問題的能力。

• Case1 篩選

df = pd.DataFrame({'a':[np.nan,1,2],'b':[np.nan,np.nan,4]})

df[df[['a','b']].isna().all(axis = 1)]

df[df[['a','b']].isna().any(1)]
#或者
df[~df[['a','b']].isnull().all(axis = 1)] 

• Case 2 多行變多列

df = pd.DataFrame({
    'Name':['Ringo','Ringo','Ringo','Ringo','Grace','Jerry','Jerry','Jerry'],
    'ID':[101,101,201,201,305,404,404,404],
    'Phone':['iPhone 5','iPhone 5 plus','iPhone X','Huawei','Xiaomi','One plus','iPhone 13','Nokia']
})

將其轉(zhuǎn)成下表樣式：

(df.drop_duplicates(['Name','ID','Phone'])  #去重
   .assign(col=df.groupby(['Name','ID']).cumcount()+1)  #添加一列col, cumcount 累加，統(tǒng)計(jì)相同name 和ID 數(shù)量
   .set_index(['Name','ID','col'])['Phone']
   .unstack().add_prefix('Phone-') #這里的prefix 可以自定義
   .reset_index().fillna('')
)

方案2，使用pivot()，注意在pivot之前需要先設(shè)置multiple index：

pivot(columns = 'col',values= ['Phone])  

以上是錯(cuò)誤的示范！

(df.drop_duplicates(['Name','ID','Phone'])
.assign(col=df.groupby(['Name','ID'])
.cumcount()+1).set_index(['Name','ID'])
.pivot(columns='col')['Phone'].add_prefix('Phone-')
.reset_index().fillna('')
)

• Case 3 查詢包含指定字符的行Index

查詢包含---bios---字符所在行。

df = pd.DataFrame({'A': ['xx', '--- bios ---', 'yy', 'zz', '--- os ---'],'B': ['rat', '', 'winter', 'host','']})

df[df.iloc[:,0].str.contains('--- bios ---')].index.values[0]  

其中 df.iloc[:,0]用于遍列全部column內(nèi)容。

• Case 4 空白處填充前一行內(nèi)容

df = pd.DataFrame({
    'count':['yes','yes','total','yes','yes','total'],
    'A':['1','2','','5','8','']
})

2個(gè)A列空白處分別填入上一行的 2和8。

df.loc[df['count']=='total','A'] = df['A'].where(df['A'].ne('')).ffill()  #ne, not euqal  

或

df.loc[df['count']=='total','A'] = df['A'].mask(df['A'].eq('')).ffill()

DataFrame.where(cond,other) 

cond為True，保持原來的值，否則替換為other；

DataFrame.mask(cond,other) 

cond為True, 使用other中的相應(yīng)值替換；反之，保留原值。

• Case 5 去重但保留最大值

df = pd.DataFrame({'month': [1, 1, 7, 10],
                   'year': [2012, 2012, 2013, 2014],
                  'type':['C','C','S','C'],
                  'sale': [55, 40, 84, 31]})

df.groupby(['month', 'year', 'type'])['sale'].max().reset_index()

方案2，先對(duì)sale列逆向排序，再使用drop_duplicates()方法去重：

df.sort_values('sale',ascending=False).drop_duplicates(['month','year','type']).sort_index().reset_index(drop=True)

輸出結(jié)果如下

• Case6 多列組合成一列

df['pk'] = df[column_list].astype(str).apply(''.join, axis=1)

舉例說明：

df = pd.DataFrame({'File Type':['aa','bb'], 
                   'Number of Records':[1,5],
                   'Indication':['ind1','ind2']
                    })

column_list1 = ['File Type', 'Number of Records']
column_list2 = ['File Type', 'Number of Records', 'Indication']
column_list3 = ['File Type']
df['pk1'] = df[column_list1].astype(str).agg(''.join, axis=1)
df['pk2'] = df[column_list2].astype(str).agg(''.join, axis=1)
df['pk3'] = df[column_list3].astype(str).agg(''.join, axis=1)

結(jié)果如下：

• Case7 根據(jù)前一列填充后一列的NaN

df = pd.DataFrame({
    'comment':['good','bad','excellent','good','good'],
    'result':['positive',np.nan,np.nan,np.nan,np.nan]
})

df['result'] = df['result'].fillna(df['comment'].map({'good':'negative','bad':'positive'}))

要求NaN處使用上一行數(shù)據(jù)，再加10。

df = df.fillna(df.fillna(method='ffill').add(10))

• Case8 檢查列值是否唯一

keep ： {'first'，'last'，F(xiàn)alse}，默認(rèn)為'first'

first：將重復(fù)項(xiàng)標(biāo)記True為第一次出現(xiàn)的除外。

last：將重復(fù)項(xiàng)標(biāo)記True為最后一次除外。

False：將所有重復(fù)項(xiàng)標(biāo)記為True。

df['unique'] = ~df['Name'].duplicated(keep=False)

• Case9 判斷時(shí)間點(diǎn)所屬時(shí)間段

0點(diǎn)到5點(diǎn)是凌晨，6-12點(diǎn)是指早上，12點(diǎn)到17點(diǎn)是下午，17點(diǎn)到24點(diǎn)是晚上。

df=pd.DataFrame({
    'Date' :['2020-8-30','2020-10-30','2020-10-30','2020-11-01','2020-12-30'],
    'Time':['05:38:45','06:58:11', '10:05:34', '13:07:57', '21:15:32'],
    'Transaction':[4,2,3,1,1]
})

u = df.assign(Time=pd.to_timedelta(df['Time']))
bins = [0,6,12,17,24] #　指定多個(gè)區(qū)間
labels = ['凌晨','上午','下午','晚上']
u = u.assign(Time_Group=pd.cut(u['Time'],[pd.Timedelta(hours=i) for i in bins],
                               labels=labels))

• Case 10 行內(nèi)容炸裂成多列

u = df['want_split'].str.split(",").explode().str.split(":",expand=True)
out = df.join(u.set_index(0,append=True)[1].unstack())

第一個(gè)expand=True參數(shù)直接將分列后的結(jié)果轉(zhuǎn)換成DataFrame。