目錄?[隱藏]
數(shù)據(jù)處理到人工智能
數(shù)據(jù)表示:采用合適的方法用程序表達數(shù)據(jù)
數(shù)據(jù)清理:數(shù)據(jù)歸一化、數(shù)據(jù)轉(zhuǎn)換、異常值處理
數(shù)據(jù)統(tǒng)計:數(shù)據(jù)的概要理解,數(shù)量,分布,中位數(shù)
數(shù)據(jù)可視化:直觀展示數(shù)據(jù)內(nèi)涵的方式
數(shù)據(jù)挖掘:從數(shù)據(jù)分析獲得知識,產(chǎn)生數(shù)據(jù)外的價值
人工智能:數(shù)據(jù)/語言/圖像/視覺等方面深度分析與決策
Python數(shù)據(jù)分析
Numpy:表達N維數(shù)組的最基礎(chǔ)庫,Python接口使用,C語言實現(xiàn),計算速度優(yōu)異。Python數(shù)據(jù)分析及科學(xué)技術(shù)的基礎(chǔ)庫,支撐Pandas等。提供直接的矩陣運算、廣播函數(shù)、線性代數(shù)等功能。
Pandas:Python數(shù)據(jù)分析高層次應(yīng)用庫,提供了簡單易用的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分析工具。理解數(shù)據(jù)類型與索引的關(guān)系,操作索引即操作數(shù)據(jù)。Python最主要的數(shù)據(jù)分析功能庫,基于Numpy開發(fā)。
Series=索引+一維數(shù)據(jù)
DataFrame=行列索引+二維數(shù)據(jù)
SciPy:數(shù)學(xué)、科學(xué)和工程計算功能庫,提供了一批數(shù)學(xué)算法和工程數(shù)據(jù)運算功能。類似Matlab,可用于如傅立葉變換、信號處理等應(yīng)用。Python最主要的科學(xué)計算功能庫,基于Numpy開發(fā)。有傅立葉變換類、信號處理類、優(yōu)化算法類、稀疏運算類、稀疏圖壓縮類、圖像處理類、線性代數(shù)類。
Python庫之?dāng)?shù)據(jù)可視化
Matplotlib:高質(zhì)量的二維數(shù)據(jù)可視化功能庫。提供了超過100種數(shù)據(jù)可視化展示效果。通過matplotlib.pyplot子庫調(diào)用各可視化效果。Python最主要的數(shù)據(jù)可視化功能庫,基于Numpy開發(fā)。
Seaborn:統(tǒng)計類數(shù)據(jù)可視化功能庫。提供了一批高層次的統(tǒng)計類數(shù)據(jù)可視化展示效果。主要展示數(shù)據(jù)間分布、分類和線性關(guān)系等內(nèi)容?;贛atplotlib開發(fā),支持Numpy和Pandas。
http://docs.enthought.com/mayavi/mayavi/
Mayavi:三維科學(xué)數(shù)據(jù)可視化功能庫
提供了一批簡單易用的3D科學(xué)計算數(shù)據(jù)可視化展示效果,目前版本是Mayavi2,三維可視化最主要的第三方庫,支持Numpy、TVTK、Traits、Envisage等第三方庫
Python之文本處理
http://mstamy2.github.io/PyPDF2
PyPDF2:用來處理pdf文件的工具集
提供了一批處理PDF文件的計算功能
支持獲取信息、分隔/整合文件、加密解密等
完全Python語言實現(xiàn),不需要額外依賴,功能穩(wěn)定
NLTK:自然語言文本處理第三方庫,提供了一批簡單易用的自然語言文本處理功能。支持語言文本分類、標(biāo)記、語法句法、語義分析等。最優(yōu)秀的Python自然語言處理庫。
http://python-docx.readthedocs.io/en/latest/index.html
Python-docx:創(chuàng)建或更新Microsoft Word文件的第三方庫,提供創(chuàng)建或更新.doc .docx等文件的計算功能,增加并配置段落、圖片、表格和文字等,功能全面。
Python之機器學(xué)習(xí)
Scikit-learn:機器學(xué)習(xí)方法工具集,提供一批統(tǒng)一化的機器學(xué)習(xí)方法功能接口,提供聚類、分類、回歸、強化學(xué)習(xí)等計算功能。機器學(xué)習(xí)最基本且最優(yōu)秀的Python第三方庫。與數(shù)據(jù)相關(guān)的第三方庫。
TensorFlow:AlphaGo背后的機器學(xué)習(xí)計算框架,谷歌公司推動的開源機器學(xué)習(xí)框架,將數(shù)據(jù)流圖作為基礎(chǔ),圖節(jié)點代表運算,邊代表張量。是應(yīng)用機器學(xué)習(xí)方法的一種方式,支撐谷歌人工智能應(yīng)用。
import tensorflow as tf
init=tf.global_variables_initializer()
sess=tf.Session()
sess.run(init)
res=sess.run(result)
print(‘result:’,res)
https://mxnet.incubator.apache.org/
MXNet:基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)計算框架。提供可擴展的神經(jīng)網(wǎng)絡(luò)及深度學(xué)習(xí)計算功能,可用于自動駕駛、機器翻譯、語言識別等眾多領(lǐng)域,Python最重要的深度學(xué)習(xí)計算框架。
實例:霍蘭德人格分析雷達圖
通用雷達圖繪制:matplotlib庫
專業(yè)的多維數(shù)據(jù)表示:numpy庫
輸出:雷達圖
http://www.itdecent.cn/p/26d560faff47