0、pandas常用方法

import pandas as pd

df = pd.read_csv("chicago.csv")

df.head()   # 返回前5項內(nèi)容
df.columns  # 返回數(shù)據(jù)集中的列名
df.columns.size  # 返回數(shù)據(jù)集的列數(shù)
df.describe()  # 返回數(shù)據(jù)集的統(tǒng)計信息，如min、max、std等
df.info()  # 返回數(shù)據(jù)集的基礎(chǔ)信息，每一列數(shù)量統(tǒng)計，內(nèi)存消耗、哪些列有缺失值等
df.mean()  # 返回各列的平均值

df.iloc[2:4,]  #取第二行和第三行所有數(shù)據(jù)

df['column_name'].value_counts()  # 'column_name'這個列中各個值出現(xiàn)的次數(shù)統(tǒng)計

df['column_name'].min()  # 該列中最小值

df['column_name'].max()  # 該列中最大值

df['column_name'].unique()  # 'column_name'這個列中各個數(shù)據(jù)去重后的list集合

df['column_name'].mode()[0]  # 查看這列中各數(shù)據(jù)出現(xiàn)次數(shù)最多的數(shù)據(jù)

df.sort_values(by=['column_name'])  # 按某一列順序排列df表

df[df['column_name']=='xxxxx']  # 獲column_name值等于xxxx的這一行的值

np.repeat(3, 4)  # array([3, 3, 3, 3])  # 重復(fù)一個numpy數(shù)據(jù)的值

red_df = red_df.rename(columns={'total_sulfur-dioxide': 'total_sulfur_dioxide'})  # 重新命名數(shù)據(jù)集的一個列名

df.drop([a, b, c], axis=1, inplace=True) # 刪除數(shù)據(jù)集中的某些列a, b, c, axis=0按行操作 ，axis=1按列操作

1、計算相關(guān)性

相關(guān)性，簡單講就是：
正相關(guān)和負(fù)相關(guān)，值的大小在-1和1之間，越接近1，相關(guān)性越大

import pandas as pd
import numpy as np

filename = '/datasets/ud170/subway/nyc_subway_weather.csv'
subway_df = pd.read_csv(filename)

# 計算相關(guān)性的一個函數(shù)，類似于numpy的corrcoef()的原理
def correlation(x, y):
    std_x = (x - x.mean()) / x.std(ddof = 0)
    std_y = (y - y.mean()) / y.std(ddof = 0)
    
    return (std_x * std_y).mean()

entries = subway_df['ENTRIESn_hourly']
cum_entries = subway_df['ENTRIESn']
rain = subway_df['meanprecipi']
temp = subway_df['meantempi']

print correlation(entries, rain)
print correlation(entries, temp)
print correlation(rain, temp)

print correlation(entries, cum_entries)

# 用numpy的corrcoef()方法也是可以直接計算相關(guān)性的
print np.corrcoef(entries, rain)

2、DataForm apply()和applymap()的區(qū)別

applymap是對DataForm中的每一個單獨的元素進(jìn)行操作

import pandas as pd

if True:
    df = pd.DataFrame({
        'a': [1, 2, 3],
        'b': [10, 20, 30],
        'c': [5, 10, 15]
    })
    
    def add_one(x):
        return x + 1
        
    print df.applymap(add_one)
    
'''
   a   b   c
0  2  11   6
1  3  21  11
2  4  31  16
'''
    
grades_df = pd.DataFrame(
    data={'exam1': [43, 81, 78, 75, 89, 70, 91, 65, 98, 87],
          'exam2': [24, 63, 56, 56, 67, 51, 79, 46, 72, 60]},
    index=['Andre', 'Barry', 'Chris', 'Dan', 'Emilio', 
           'Fred', 'Greta', 'Humbert', 'Ivan', 'James']
)
    
def convert_grades(grades):
    if grades >= 90:
        return 'A'
    elif grades >= 80:
        return 'B'
    elif grades >= 70:
        return 'C'
    elif grades >= 60:
        return 'D'
    else:
        return 'F'

print grades_df.applymap(convert_grades)

'''
        exam1 exam2
Andre       F     F
Barry       B     D
Chris       C     F
Dan         C     F
Emilio      B     D
Fred        C     F
Greta       A     C
Humbert     D     F
Ivan        A     C
James       B     D
'''

apply()是對某一列數(shù)據(jù)進(jìn)行操作

import numpy as np
import pandas as pd

df = pd.DataFrame({
    'a': [4, 5, 3, 1, 2],
    'b': [20, 10, 40, 50, 30],
    'c': [25, 20, 5, 15, 10]
})


if True:   
    print df.apply(np.mean)
    print df.apply(np.max)

'''
a     3.0
b    30.0
c    15.0
dtype: float64

a     5
b    50
c    25
dtype: int64
'''

# ascending=False表示降序排列
def second_largest_in_column(column):
    sort_column = column.sort_values(ascending=False)
    return sort_column.iloc[1]
    
def second_largest(df):
    return df.apply(second_largest_in_column)
    
second_largest(df)

'''
a     4
b    40
c    20
dtype: int64
'''

3、在jupter notebook中將數(shù)據(jù)圖形化

%pylab inline
import seaborn as sns

#如果data是一個DataFrame
data.plot()

4、如何處理數(shù)據(jù)集的缺失值NaN

如果是數(shù)字，一般用這一列的平均值去填充缺失值，如下方法：

mean = df['column_name'].mean()
df['column_name'].fillna(mean, inplace=True)

# df_08.dropna()刪除缺失行后的數(shù)據(jù)
# 想要得出數(shù)據(jù)集中具有缺失值的行數(shù)，可以用總行數(shù)減去刪除缺失行后的數(shù)據(jù)

5、查看并刪除數(shù)據(jù)集中的冗余行(即和其他行數(shù)據(jù)一模一樣)

df.duplicated()     # 查看冗余行，非首次出現(xiàn)的冗余行標(biāo)為True
df.drop_duplicates()   # 刪除冗余行后的數(shù)據(jù)

# 想要得出數(shù)據(jù)集中重復(fù)的行數(shù)，可以用總行數(shù)減去刪除冗余行后的數(shù)據(jù)

如果是一個比較復(fù)雜的數(shù)據(jù)，比如一家醫(yī)院的患者數(shù)據(jù)集，如果只是用戶ID相同，患者情況描述不同，也算是冗余，需要給duplicated和drop_duplicates方法添加參數(shù)subset

6、pandas繪圖

import pandas as pd
% matplotlib inline

df = pd.read_csv('aaa.csv')

df['column_name'].hist()  # 繪制該列數(shù)據(jù)分布的直方圖
# 或者如下：
df['column_name'].plot(kind='hist')

df['column_name'].value_counts.plot(kind='pie')  # 繪制該列中各個值出現(xiàn)次數(shù)的餅狀圖

df.plot(x='AT', y='PE', kind='scatter')  # 表示x軸為AT，y軸為PE時，繪制散點圖

df['column_name'].plot(kind='box')  # 繪制箱線圖