受到numpy100題的啟發(fā)，我們制作了pandas50題。

Pandas 是基于 NumPy 的一種數(shù)據(jù)處理工具，該工具為了解決數(shù)據(jù)分析任務(wù)而創(chuàng)建。Pandas 納入了大量庫(kù)和一些標(biāo)準(zhǔn)的數(shù)據(jù)模型，提供了高效地操作大型數(shù)據(jù)集所需的函數(shù)和方法。 這些練習(xí)著重DataFrame和Series對(duì)象的基本操作，包括數(shù)據(jù)的索引、分組、統(tǒng)計(jì)和清洗。

點(diǎn)擊>>50道練習(xí)帶你玩轉(zhuǎn)Pandas<<線上運(yùn)行噻~

參考資料 | 100-pandas-puzzles - GitHub | Pandas 百題大沖關(guān)

基本操作

1. 導(dǎo)入 Pandas 庫(kù)并簡(jiǎn)寫為 pd，并輸出版本號(hào)

import pandas as pd

pd.__version__

2. 從列表創(chuàng)建 Series

arr = [0, 1, 2, 3, 4]

df = pd.Series(arr) # 如果不指定索引，則默認(rèn)從 0 開始

df

3. 從字典創(chuàng)建 Series

d = {'a':1,'b':2,'c':3,'d':4,'e':5}

df = pd.Series(d)

df

4. 從 NumPy 數(shù)組創(chuàng)建 DataFrame

dates = pd.date_range('today',periods=6) # 定義時(shí)間序列作為 index

num_arr = np.random.randn(6,4) # 傳入 numpy 隨機(jī)數(shù)組

columns = ['A','B','C','D'] # 將列表作為列名

df = pd.DataFrame(num_arr, index = dates, columns = columns)

df

5. 從CSV中創(chuàng)建 DataFrame，分隔符為“；”，編碼格式為gbk

df = pd.read_csv('test.csv', encoding='gbk, sep=';')

6. 從字典對(duì)象創(chuàng)建DataFrame，并設(shè)置索引

import numpy as np

data = {'animal': ['cat', 'cat', 'snake', 'dog', 'dog', 'cat', 'snake', 'cat', 'dog', 'dog'],

? ? ? ? 'age': [2.5, 3, 0.5, np.nan, 5, 2, 4.5, np.nan, 7, 3],

? ? ? ? 'visits': [1, 3, 2, 3, 2, 3, 1, 1, 2, 1],

? ? ? ? 'priority': ['yes', 'yes', 'no', 'yes', 'no', 'no', 'no', 'yes', 'no', 'no']}

labels = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j']

df = pd.DataFrame(data, index=labels)

df

7. 顯示df的基礎(chǔ)信息，包括行的數(shù)量；列名；每一列值的數(shù)量、類型

df.info()

# 方法二

# df.describe()

8. 展示df的前3行

df.iloc[:3]

# 方法二

#df.head(3)

9. 取出df的animal和age列

df.loc[:, ['animal', 'age']]

# 方法二

# df[['animal', 'age']]

10. 取出索引為[3, 4, 8]行的animal和age列

df.loc[df.index[[3, 4, 8]], ['animal', 'age']]

11. 取出age值大于3的行

df[df['age'] > 3]

12. 取出age值缺失的行

df[df['age'].isnull()]

13.取出age在2,4間的行（不含）

df[(df['age']>2) & (df['age']>4)]

# 方法二

# df[df['age'].between(2, 4)]

14. `f行的age改為1.5

df.loc['f', 'age'] = 1.5

15. 計(jì)算visits的總和

df['visits'].sum()

16. 計(jì)算每個(gè)不同種類animal的age的平均數(shù)

df.groupby('animal')['age'].mean()

17. 在df中插入新行k，然后刪除該行

#插入

df.loc['k'] = [5.5, 'dog', 'no', 2]

# 刪除

df = df.drop('k')

df

18. 計(jì)算df中每個(gè)種類animal的數(shù)量

df['animal'].value_counts()

19. 先按age降序排列，后按visits升序排列

df.sort_values(by=['age', 'visits'], ascending=[False, True])

20. 將priority列中的yes, no替換為布爾值True, False

df['priority'] = df['priority'].map({'yes': True, 'no': False})

df

21. 將animal列中的snake替換為python

df['animal'] = df['animal'].replace('snake', 'python')

df

22. 對(duì)每種animal的每種不同數(shù)量visits，計(jì)算平均age，即，返回一個(gè)表格，行是aniaml種類，列是visits數(shù)量，表格值是行動(dòng)物種類列訪客數(shù)量的平均年齡

df.pivot_table(index='animal', columns='visits', values='age', aggfunc='mean')

進(jìn)階操作

23. 有一列整數(shù)列A的DatraFrame，刪除數(shù)值重復(fù)的行

df = pd.DataFrame({'A': [1, 2, 2, 3, 4, 5, 5, 5, 6, 7, 7]})

print(df)

df1 = df.loc[df['A'].shift() != df['A']]

# 方法二

# df1 = df.drop_duplicates(subset='A')

print(df1)

24. 一個(gè)全數(shù)值DatraFrame，每個(gè)數(shù)字減去該行的平均數(shù)

df = pd.DataFrame(np.random.random(size=(5, 3)))

print(df)

df1 = df.sub(df.mean(axis=1), axis=0)

print(df1)

25. 一個(gè)有5列的DataFrame，求哪一列的和最小

df = pd.DataFrame(np.random.random(size=(5, 5)), columns=list('abcde'))

print(df)

df.sum().idxmin()

26. 給定DataFrame，求A列每個(gè)值的前3大的B的值的和

df = pd.DataFrame({'A': list('aaabbcaabcccbbc'),

? ? ? ? ? ? ? ? ? 'B': [12,345,3,1,45,14,4,52,54,23,235,21,57,3,87]})

print(df)

df1 = df.groupby('A')['B'].nlargest(3).sum(level=0)

print(df1)

27. 給定DataFrame，有列A, B，A的值在1-100（含），對(duì)A列每10步長(zhǎng)，求對(duì)應(yīng)的B的和

df = pd.DataFrame({'A': [1,2,11,11,33,34,35,40,79,99],

? ? ? ? ? ? ? ? ? 'B': [1,2,11,11,33,34,35,40,79,99]})

print(df)

df1 = df.groupby(pd.cut(df['A'], np.arange(0, 101, 10)))['B'].sum()

print(df1)

28. 給定DataFrame，計(jì)算每個(gè)元素至左邊最近的0（或者至開頭）的距離，生成新列y

df = pd.DataFrame({'X': [7, 2, 0, 3, 4, 2, 5, 0, 3, 4]})

izero = np.r_[-1, (df['X'] == 0).to_numpy().nonzero()[0]] # 標(biāo)記0的位置

idx = np.arange(len(df))

df['Y'] = idx - izero[np.searchsorted(izero - 1, idx) - 1]

print(df)

# 方法二

# x = (df['X'] != 0).cumsum()

# y = x != x.shift()

# df['Y'] = y.groupby((y != y.shift()).cumsum()).cumsum()

# 方法三

# df['Y'] = df.groupby((df['X'] == 0).cumsum()).cumcount()

#first_zero_idx = (df['X'] == 0).idxmax()

# df['Y'].iloc[0:first_zero_idx] += 1

29. 一個(gè)全數(shù)值的DataFrame，返回最大3個(gè)值的坐標(biāo)

df = pd.DataFrame(np.random.random(size=(5, 3)))

print(df)

df.unstack().sort_values()[-3:].index.tolist()

30. 給定DataFrame，將負(fù)值代替為同組的平均值

df = pd.DataFrame({'grps': list('aaabbcaabcccbbc'),

? ? ? ? ? ? ? ? ? 'vals': [-12,345,3,1,45,14,4,-52,54,23,-235,21,57,3,87]})

print(df)

def replace(group):

? ? mask = group<0

? ? group[mask] = group[~mask].mean()

? ? return group

df['vals'] = df.groupby(['grps'])['vals'].transform(replace)

print(df)

31. 計(jì)算3位滑動(dòng)窗口的平均值，忽略NAN

df = pd.DataFrame({'group': list('aabbabbbabab'),

? ? ? ? ? ? ? ? ? ? 'value': [1, 2, 3, np.nan, 2, 3, np.nan, 1, 7, 3, np.nan, 8]})

print(df)

g1 = df.groupby(['group'])['value']

g2 = df.fillna(0).groupby(['group'])['value']

s = g2.rolling(3, min_periods=1).sum() / g1.rolling(3, min_periods=1).count()

s.reset_index(level=0, drop=True).sort_index()

Series 和 Datetime索引

32. 創(chuàng)建Series s，將2015所有工作日作為隨機(jī)值的索引

dti = pd.date_range(start='2015-01-01', end='2015-12-31', freq='B')

s = pd.Series(np.random.rand(len(dti)), index=dti)

s.head(10)

33. 所有禮拜三的值求和

s[s.index.weekday == 2].sum()

34. 求每個(gè)自然月的平均數(shù)

s.resample('M').mean()

35. 每連續(xù)4個(gè)月為一組，求最大值所在的日期

s.groupby(pd.Grouper(freq='4M')).idxmax()

36. 創(chuàng)建2015-2016每月第三個(gè)星期四的序列

pd.date_range('2015-01-01', '2016-12-31', freq='WOM-3THU')

數(shù)據(jù)清洗

df = pd.DataFrame({'From_To': ['LoNDon_paris', 'MAdrid_miLAN', 'londON_StockhOlm',

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 'Budapest_PaRis', 'Brussels_londOn'],

? ? ? ? ? ? ? 'FlightNumber': [10045, np.nan, 10065, np.nan, 10085],

? ? ? ? ? ? ? 'RecentDelays': [[23, 47], [], [24, 43, 87], [13], [67, 32]],

? ? ? ? ? ? ? ? ? 'Airline': ['KLM(!)', '<Air France> (12)', '(British Airways. )',

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? '12. Air France', '"Swiss Air"']})

df

37. FlightNumber列中有些值缺失了，他們本來應(yīng)該是每一行增加10，填充缺失的數(shù)值，并且令數(shù)據(jù)類型為整數(shù)

df['FlightNumber'] = df['FlightNumber'].interpolate().astype(int)

df

38. 將From_To列從_分開，分成From, To兩列，并刪除原始列

temp = df.From_To.str.split('_', expand=True)

temp.columns = ['From', 'To']

df = df.join(temp)

df = df.drop('From_To', axis=1)

df

39. 將From, To大小寫統(tǒng)一首字母大寫其余小寫

df['From'] = df['From'].str.capitalize()

df['To'] = df['To'].str.capitalize()

df

40. Airline列，有一些多余的標(biāo)點(diǎn)符號(hào)，需要提取出正確的航司名稱。舉例：'(British Airways. )' 應(yīng)該改為 'British Airways'.

df['Airline'] = df['Airline'].str.extract('([a-zA-Z\s]+)', expand=False).str.strip()

df

41. Airline列，數(shù)據(jù)被以列表的形式錄入，但是我們希望每個(gè)數(shù)字被錄入成單獨(dú)一列，delay_1, delay_2, ...沒有的用NAN替代。

delays = df['RecentDelays'].apply(pd.Series)

delays.columns = ['delay_{}'.format(n) for n in range(1, len(delays.columns)+1)]

df = df.drop('RecentDelays', axis=1).join(delays)

df

層次化索引

42. 用 letters = ['A', 'B', 'C']和 numbers = list(range(10))的組合作為系列隨機(jī)值的層次化索引

letters = ['A', 'B', 'C']

numbers = list(range(4))

mi = pd.MultiIndex.from_product([letters, numbers])

s = pd.Series(np.random.rand(12), index=mi)

s

43. 檢查s是否是字典順序排序的

s.index.is_lexsorted()

# 方法二

# s.index.lexsort_depth == s.index.nlevels

44. 選擇二級(jí)索引為1, 3的行

s.loc[:, [1, 3]]

45. 對(duì)s進(jìn)行切片操作，取一級(jí)索引至B，二級(jí)索引從2開始到最后

s.loc[pd.IndexSlice[:'B', 2:]]

# 方法二

# s.loc[slice(None, 'B'), slice(2, None)]

46. 計(jì)算每個(gè)一級(jí)索引的和（A, B, C每一個(gè)的和）

s.sum(level=0)

#方法二

#s.unstack().sum(axis=0)

47. 交換索引等級(jí)，新的Series是字典順序嗎？不是的話請(qǐng)排序

new_s = s.swaplevel(0, 1)

print(new_s)

print(new_s.index.is_lexsorted())

new_s = new_s.sort_index()

print(new_s)

可視化

import matplotlib.pyplot as plt

df = pd.DataFrame({"xs":[1,5,2,8,1], "ys":[4,2,1,9,6]})

plt.style.use('ggplot')

48. 畫出df的散點(diǎn)圖

df.plot.scatter("xs", "ys", color = "black", marker = "x")

49. 可視化指定4維DataFrame

df = pd.DataFrame({"productivity":[5,2,3,1,4,5,6,7,8,3,4,8,9],

? ? ? ? ? ? ? ? ? "hours_in"? ? :[1,9,6,5,3,9,2,9,1,7,4,2,2],

? ? ? ? ? ? ? ? ? "happiness"? :[2,1,3,2,3,1,2,3,1,2,2,1,3],

? ? ? ? ? ? ? ? ? "caffienated" :[0,0,1,1,0,0,0,0,1,1,0,1,0]})

df.plot.scatter("hours_in", "productivity", s = df.happiness * 100, c = df.caffienated)

50. 在同一個(gè)圖中可視化2組數(shù)據(jù)，共用X軸，但y軸不同

df = pd.DataFrame({"revenue":[57,68,63,71,72,90,80,62,59,51,47,52],

? ? ? ? ? ? ? ? ? "advertising":[2.1,1.9,2.7,3.0,3.6,3.2,2.7,2.4,1.8,1.6,1.3,1.9],

? ? ? ? ? ? ? ? ? "month":range(12)})

ax = df.plot.bar("month", "revenue", color = "green")

df.plot.line("month", "advertising", secondary_y = True, ax = ax)

ax.set_xlim((-1,12));