安裝

1.更新macport，Numpy,Matploitlib,Scipy
解決安裝macports更新失敗問(wèn)題

Mac OS X中MacPorts安裝和使用
macport更新失敗,后來(lái)選擇了

sudo pip install numpy

• 大部分?jǐn)?shù)據(jù)集都能被轉(zhuǎn)化為更加適合分析和建模的結(jié)構(gòu)化形式

常用模塊的命名慣例：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

4.4 擴(kuò)展庫(kù)Scipy

?Scipy數(shù)據(jù)結(jié)構(gòu)

NumPy庫(kù)介紹：

介紹

例子：

import numpy as np
xArray = np.ones((3,4))
print xArray

輸出結(jié)果：

[[ 1.  1.  1.  1.]
 [ 1.  1.  1.  1.]
 [ 1.  1.  1.  1.]]

?Scipy核心庫(kù)

例子：

import numpy as np
from scipy import linalg

arr = np.array([[1,2],[3,4]])
print linalg.det(arr)

輸出：-2.0

?Matplotlib介紹

?pandas介紹

4.5 ndarray

?不適合大數(shù)據(jù)

例子：

from numpy import *
aArray = array([1,2,3]) #定義一維數(shù)組
print '這是一維數(shù)組',aArray

bArray = array([(1,2,3),(4,5,6)]) #定義二維數(shù)組
print '這是二維數(shù)組'
print bArray

輸出：

• 可使用基本的運(yùn)算符（加減乘除）
• 既有標(biāo)準(zhǔn)函數(shù)，又有內(nèi)建函數(shù)

豐富的函數(shù)：

4.6 變長(zhǎng)字典Series

字典：

• 無(wú)序的數(shù)據(jù)結(jié)構(gòu)
• key與value：存在映射關(guān)系
• key與value之間是不獨(dú)立的

pandas的變長(zhǎng)字典Series：

• 相當(dāng)于一個(gè)定長(zhǎng)有序的字典
• key與value之間是獨(dú)立的
• 某些應(yīng)用時(shí)，功能更強(qiáng)大

自定義Series的索引：

Series的基本運(yùn)算:

Series的數(shù)據(jù)對(duì)齊：

數(shù)據(jù)量大的時(shí)候，處理起來(lái)很方便

Series的name屬性：類似字段名的作用

4.7 DataFrame

DataFrame的基本操作

DataFrame的修改與刪除

DataFrame的name屬性

5.1 便捷數(shù)據(jù)獲取

5.2 數(shù)據(jù)準(zhǔn)備

5.2數(shù)據(jù)整理：

5.2.1修改屬性名

?原先數(shù)據(jù)

#-*- coding:utf-8 -*-
#給quotes數(shù)據(jù)加屬性名

from matplotlib.finance import quotes_historical_yahoo_ochl
from datetime import date
import pandas as pd

today = date.today()
start = (today.year-1, today.month, today.day)
quotes = quotes_historical_yahoo_ochl('AXP',start, today)
fields = ['date','open','close','high','low','volume']
quotesdf = pd.DataFrame(quotes,columns=fields)
print quotesdf

?處理后的數(shù)據(jù)

5.2.2 修改index屬性

quotesdf = pd.DataFrame(quotes,index = range(1,len(quotes)+1),columns=fields)

數(shù)據(jù)變化

5.2.3 時(shí)間序列

#-*- coding:utf-8 -*-
#修改時(shí)間序列

from matplotlib.finance import quotes_historical_yahoo_ochl
from datetime import date
from datetime import datetime
import pandas as pd

today = date.today()
start = (today.year-1, today.month, today.day)
quotes = quotes_historical_yahoo_ochl('AXP',start, today)
fields = ['date','open','close','high','low','volume']
#quotesdf = pd.DataFrame(quotes,columns=fields)
#quotesdf = pd.DataFrame(quotes, index=range(1, len(quotes) + 1), columns=fields)
list1 = []
for i in range(0,len(quotes)):
    x = date.fromordinal(int(quotes[i][0]))         #轉(zhuǎn)換成常規(guī)時(shí)間
    y = datetime.strftime(x,'%Y-%m-%d')         #轉(zhuǎn)換成固定格式
    list1.append(y)
quotesdf = pd.DataFrame(quotes, index = list1, columns=fields)
quotesdf = quotesdf.drop(['date'],axis=1)     #刪除原date列
print quotesdf

效果

創(chuàng)建時(shí)間序列

# -*- coding:utf-8 -*-
__author__ = 'jerry'
#創(chuàng)建時(shí)間序列
import pandas as pd
import numpy as np
dates = pd.date_range('20141001',periods=7)
dates = pd.DataFrame(np.random.randn(7,3),index=dates,columns=list('ABC'))
print dates

效果

5.3 數(shù)據(jù)顯示

5.4 數(shù)據(jù)選擇

選擇行：

選擇列：

選擇行、列：

選擇區(qū)域、單個(gè)值：

iloc，iat方法:

*條件篩選：

5.5 簡(jiǎn)單統(tǒng)計(jì)與處理：

比較相鄰的數(shù)據(jù)diff():

tips：
1.多看庫(kù)里面相關(guān)的函數(shù)
2.你想到的方法基本上都有先成的函數(shù)

正序與逆序：

記數(shù)統(tǒng)計(jì)：

5.6 grouping：

分組主要是理解需求，基于什么去分組，然后出來(lái)的組再進(jìn)行什么樣的功能操作

5.7 Merge：

6.1 聚類分析：

聚類是數(shù)據(jù)挖掘描述性任務(wù)和預(yù)測(cè)性任務(wù)的一個(gè)重要組成部分
它以相似性為基礎(chǔ)，把相似的對(duì)象通過(guò)靜態(tài)分類分成不同的組別和子集

聚類算法：

• K均值算法：簡(jiǎn)潔、快速
  K均值算法的基本流程：
  1.任意選擇k個(gè)對(duì)象作為初始的聚類中心
  2.對(duì)每個(gè)點(diǎn)確定它的聚類中心點(diǎn)。實(shí)際上，就是計(jì)算距離（一般采用均方差作為標(biāo)準(zhǔn)的測(cè)度函數(shù)）
  3.計(jì)算每個(gè)新聚類的聚類中心，直到收斂（確定的中心點(diǎn)不再改變聚類就完成）
  保證各聚類本身盡可能緊湊，而各聚類之間盡可能地分開

6.2 matplotlib數(shù)據(jù)可視化：

matplotlib宣言：讓簡(jiǎn)單的事情變得簡(jiǎn)單，讓復(fù)雜的事情變得復(fù)雜

matplotlib介紹：

介紹

折線圖：

折線圖

散點(diǎn)圖

import numpy as np
import matplotlib.pyplot as plt
x = np.linspace(0, 1)
y = np.sin(4 * np.pi * x) * np.exp(-5 * x)
plt.plot(x, y,"o")
plt.show()

pylab繪圖

6.3 Matplotlib圖像屬性控制

幾乎可以控制matplotlib每一個(gè)默認(rèn)屬性

• 圖像大小
• 每英寸點(diǎn)數(shù)、線寬、色彩和樣式
• 子圖、坐標(biāo)軸和網(wǎng)格屬性

色彩和樣式：

文字：

其他屬性：

子圖：

子圖axes

6.4 pandas作圖：

pandas通過(guò)整合matplotlib的相關(guān)功能，可以實(shí)現(xiàn)基于Series和DataFrame的某些繪圖功能，針對(duì)這2種類型，pandas通常比pylab和pyplot作圖更方便

pandas繪圖：

pandas控制圖像形式：

6.5 數(shù)據(jù)存?。?/h2>

CSV（Comma-Separated Values）逗號(hào)分隔值：

---

參考：

數(shù)據(jù)科學(xué)的完整學(xué)習(xí)路徑（Python版）
python 科學(xué)計(jì)算 發(fā)行版 Anaconda安裝使用教程

PyCharm 安裝 NumPy，SciPy 等科學(xué)計(jì)算包 （Anaconda）for mac OS X

CS231n課程筆記翻譯：Python Numpy教程

numpy教程：函數(shù)庫(kù)和ufunc函數(shù)
pandas官方文檔
PyMongo官方文檔翻譯

http://api.mongodb.com/python/3.3.0/