經(jīng)過(guò)一段時(shí)間的整理，本期將分享我認(rèn)為比較常規(guī)的100個(gè)實(shí)用函數(shù)，這些函數(shù)大致可以分為六類，分別是統(tǒng)計(jì)匯總函數(shù)、數(shù)據(jù)清洗函數(shù)、數(shù)據(jù)篩選、繪圖與元素級(jí)運(yùn)算函數(shù)、時(shí)間序列函數(shù)和其他函數(shù)。

統(tǒng)計(jì)匯總函數(shù)

數(shù)據(jù)分析過(guò)程中，必然要做一些數(shù)據(jù)的統(tǒng)計(jì)匯總工作，那么對(duì)于這一塊的數(shù)據(jù)運(yùn)算有哪些可用的函數(shù)可以幫助到我們呢？具體看如下幾張表。

importpandasaspd

importnumpyasnp

x?=?pd.Series(np.random.normal(2,3,1000))

y?=3*x?+10+?pd.Series(np.random.normal(1,2,1000))

#?計(jì)算x與y的相關(guān)系數(shù)

print(x.corr(y))

#?計(jì)算y的偏度

print(y.skew())

#?計(jì)算y的統(tǒng)計(jì)描述值

print(x.describe())

z?=?pd.Series(['A','B','C']).sample(n?=1000,?replace?=True)

#?重新修改z的行索引

z.index?=?range(1000)

#?按照z分組，統(tǒng)計(jì)y的組內(nèi)平均值

y.groupby(by?=?z).aggregate(np.mean)

#?統(tǒng)計(jì)z中個(gè)元素的頻次

print(z.value_counts())

a?=?pd.Series([1,5,10,15,25,30])

#?計(jì)算a中各元素的累計(jì)百分比

print(a.cumsum()?/?a.cumsum()[a.size?-1])

數(shù)據(jù)清洗函數(shù)

同樣，數(shù)據(jù)清洗工作也是必不可少的工作，在如下表格中羅列了常有的數(shù)據(jù)清洗的函數(shù)。

x?=?pd.Series([10,13,np.nan,17,28,19,33,np.nan,27])

#檢驗(yàn)序列中是否存在缺失值

print(x.hasnans)

#?將缺失值填充為平均值

print(x.fillna(value?=?x.mean()))

#?前向填充缺失值

print(x.ffill())

income?=?pd.Series(['12500元','8000元','8500元','15000元','9000元'])

#?將收入轉(zhuǎn)換為整型

print(income.str[:-1].astype(int))

gender?=?pd.Series(['男','女','女','女','男','女'])

#?性別因子化處理

print(gender.factorize())

house?=?pd.Series(['大寧金茂府?|?3室2廳?|?158.32平米?|?南?|?精裝',

'昌里花園?|?2室2廳?|?104.73平米?|?南?|?精裝',

'紡大小區(qū)?|?3室1廳?|?68.38平米?|?南?|?簡(jiǎn)裝'])

#?取出二手房的面積，并轉(zhuǎn)換為浮點(diǎn)型

house.str.split('|').str[2].str.strip().str[:-2].astype(float)

數(shù)據(jù)篩選

數(shù)據(jù)分析中如需對(duì)變量中的數(shù)值做子集篩選時(shí)，可以巧妙的使用下表中的幾個(gè)函數(shù)，其中部分函數(shù)既可以使用在序列身上，也基本可以使用在數(shù)據(jù)框?qū)ο笾小?/p>

np.random.seed(1234)

x?=?pd.Series(np.random.randint(10,20,10))

#?篩選出16以上的元素

print(x.loc[x?>16])

print(x.compress(x?>16))

#?篩選出13~16之間的元素

print(x[x.between(13,16)])

#?取出最大的三個(gè)元素

print(x.nlargest(3))

y?=?pd.Series(['ID:1?name:張三?age:24?income:13500',

'ID:2?name:李四?age:27?income:25000',

'ID:3?name:王二?age:21?income:8000'])

#?取出年齡，并轉(zhuǎn)換為整數(shù)

print(y.str.findall('age:(\d+)').str[0].astype(int))

繪圖與元素級(jí)函數(shù)

np.random.seed(123)

importmatplotlib.pyplotasplt

x?=?pd.Series(np.random.normal(10,3,1000))

#?繪制x直方圖

x.hist()

#?顯示圖形

plt.show()

#?繪制x的箱線圖

x.plot(kind='box')

plt.show()

installs?=?pd.Series(['1280萬(wàn)','6.7億','2488萬(wàn)','1892萬(wàn)','9877','9877萬(wàn)','1.2億'])

#?將安裝量統(tǒng)一更改為“萬(wàn)”的單位

deftransform(x):

ifx.find('億')?!=-1:

res?=?float(x[:-1])*10000

elifx.find('萬(wàn)')?!=-1:

res?=?float(x[:-1])

else:

res?=?float(x)/10000

returnres

installs.apply(transform)

時(shí)間序列函數(shù)

其他函數(shù)

importnumpyasnp

importpandasaspd

np.random.seed(112)

x?=?pd.Series(np.random.randint(8,18,6))

print(x)

#?對(duì)x中的元素做一階差分

print(x.diff())

#?對(duì)x中的元素做降序處理

print(x.sort_values(ascending?=False))

y?=?pd.Series(np.random.randint(8,16,100))

#?將y中的元素做排重處理，并轉(zhuǎn)換為列表對(duì)象

y.unique().tolist()