Python

第8周-程序設(shè)計(jì)方法學(xué)

實(shí)例-體育競技分析

• 程序總體框架及步驟：
  步驟1：打印程序的介紹性信息
  步驟2：獲得程序運(yùn)行參數(shù)：proA，proB，n
  步驟3：利用球員A和B的能力值，模擬n局比賽
  步驟4：輸出球員A和B獲勝比賽的場次及概率

from random import random  #用到隨機(jī)數(shù)，先調(diào)用random庫
def main():  #主函數(shù)main()，實(shí)現(xiàn)步驟1-4
  printInfo()  #步驟1：打印程序的介紹性信息
  probA, probB, n = getInputs()  #步驟2：獲得程序運(yùn)行參數(shù)：proA，proB，n
  winsA, winsB = simNGames(probA, probB, n)    #步驟3：利用球員A和B的能力值，模擬n局比賽
  printSummary(winsA, winsB, n)  #步驟4：輸出球員A和B獲勝比賽的場次及概率
def printInfo():
  print("這個(gè)程序模擬兩個(gè)選手A和B的某種競技比賽")
  print("程序運(yùn)行需要A和B的能力值（以0到1之間的小數(shù)表示）")
def getInputs():
  a = eval(input("請輸入選手A的能力值（0-1）："))
  b = eval(input("請輸入選手B的能力值（0-1）："))
  n = eval(input("請輸入模擬比賽的場次："))
  return a, b, n
def printSummary(winsA, winsB, n):
  print("競技分析開始，共模擬{}場比賽".format(n))
  print("選手A獲勝{}場比賽，占比{:0.1%}".format(winsA, winsA/n))
  print("選手B獲勝{}場比賽，占比{:0.1%}".format(winsB, winsB/n))
def simNGames(probA, probB, n):
  winsA, winsB = 0, 0
  for i in range(n):
    scoreA, scoreB = simOneGame(probA, probB)
    if scoreA > scoreB:
      winsA += 1
    else:
      winsB += 1
  return winsA, winsB
def simOneGame(probA, probB):  #模擬單局比賽
  scoreA, scoreB = 0, 0
  serving = "A"  #發(fā)球權(quán)
  while not gameOver(scoreA, scoreB):
    if serving == "A":  #當(dāng)A發(fā)球時(shí)：
      if random() < probA:  #隨機(jī)值在能力值范圍內(nèi)，A得分
        scoreA += 1
      else:
        serving = "B"  #否則交換發(fā)球權(quán)
    else:
      if random() < probB:
        scoreB += 1
      else:
        serving = "A"
  return scoreA, scoreB
def gameOver(a, b):  #比賽結(jié)束條件，得分15分，返回True或False
  return a==15 or b==15
main()

Python社區(qū)——PyPI：Python Package Index
13萬個(gè)第三方庫：https://pypi.org/
pip安裝方法
Anaconda集成開發(fā)工具及安裝方法（數(shù)據(jù)分析領(lǐng)域）
UCI頁面的"補(bǔ)丁"安裝方法（Windows）

os庫——提供通用的、基本的操作系統(tǒng)交互功能
處理常用路徑操作、進(jìn)程管理、環(huán)境參數(shù)等幾類功能
路徑操作——os.path子庫，處理文件路徑及信息
進(jìn)程管理——啟動(dòng)系統(tǒng)中其它程序
環(huán)境參數(shù)——獲得系統(tǒng)軟硬件信息等環(huán)境參數(shù)

第9章-Python計(jì)算生態(tài)

1、從數(shù)據(jù)處理到人工智能

數(shù)據(jù)表示->數(shù)據(jù)清洗->數(shù)據(jù)統(tǒng)計(jì)->數(shù)據(jù)可視化->數(shù)據(jù)挖掘->人工智能

• 數(shù)據(jù)表示——采用合適方式用程序表達(dá)數(shù)據(jù)
• 數(shù)據(jù)清洗——數(shù)據(jù)歸一化、數(shù)據(jù)轉(zhuǎn)換、異常值處理
• 數(shù)據(jù)統(tǒng)計(jì)——數(shù)據(jù)的概要理解，數(shù)量、分布、中位數(shù)等
• 數(shù)據(jù)可視化——直觀展示數(shù)據(jù)內(nèi)涵的方式
• 數(shù)據(jù)挖掘——從數(shù)據(jù)分析獲得知識(shí)，產(chǎn)生數(shù)據(jù)之外的價(jià)值
• 人工智能——數(shù)據(jù)/語言/圖像/視覺等方面深度分析與決策

Python庫之?dāng)?shù)據(jù)分析：

• Numpy：表達(dá)N維數(shù)組的最基礎(chǔ)庫
  ——Python接口使用，C語言實(shí)現(xiàn)，計(jì)算速度優(yōu)異
  ——Python數(shù)據(jù)分析及科學(xué)計(jì)算的基礎(chǔ)庫，支撐Pandas等
  ——提供直接的矩陣運(yùn)算、廣播函數(shù)、線性代數(shù)等功能

#使用for循環(huán)對數(shù)組進(jìn)行運(yùn)算
def pySum():
  a = [0,1,2,3,4]
  b = [9,8,7,6,5]
  c = []
  for i in range(len(a)):
    c.append(a[i]**2 + b[i]**3)
  return c
print(pySum())
#使用Numpy對數(shù)組進(jìn)行運(yùn)算
import numpy as np
def npSum():
  a = np.array([0,1,2,3,4])
  b = np.array([9,8,7,6,5])
  c = a**2 + b**3  #將a、b作為變量直接進(jìn)行運(yùn)算，簡化代碼
  return c
print(npSum())

• Pandas：Python數(shù)據(jù)分析高層次應(yīng)用庫
  ——提供了簡單易用的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分析工具
  ——理解數(shù)據(jù)類型與索引的關(guān)系，操作索引即操作數(shù)據(jù)
  ——基于Numpy開發(fā)
  ——通過擴(kuò)展了對一維和二維數(shù)據(jù)的表示，形成更高層次對數(shù)據(jù)的操作，簡化數(shù)據(jù)分析的運(yùn)行

Series = 索引 + 一維數(shù)據(jù)
DataFrame = 行列索引 + 二維數(shù)據(jù)

• SciPy：數(shù)學(xué)、科學(xué)和工程計(jì)算功能庫
  ——提供了一批數(shù)學(xué)算法及工程數(shù)據(jù)運(yùn)算功能
  ——類似Matlab，可用于如：傅里葉變換、信號(hào)處理、線性代數(shù)、圖像處理等應(yīng)用

Python庫之?dāng)?shù)據(jù)可視化

• Matplotlib：高質(zhì)量的二維數(shù)據(jù)可視化功能庫
  ——提供了超過100種數(shù)據(jù)可視化展示效果
  ——通過matplotlib.pyplot子庫調(diào)用各可視化效果
• Seabron：統(tǒng)計(jì)類數(shù)據(jù)可視化功能庫
  ——主要展示數(shù)據(jù)間分布、分類和線性關(guān)系等內(nèi)容
• Mayavi：三維科學(xué)數(shù)據(jù)可視化功能庫
  ——支持Numpy、TVTK、Traits、Envisage等第三方庫

Python庫之文本處理

• PyPDF2：用來處理pdf文件的工具集
  ——支持獲取pdf信息、分隔/整合文件、加密解密等
  ——完全Pyhton語言實(shí)現(xiàn)，不需要額外依賴，功能穩(wěn)定

#將兩個(gè)pdf文件合并為一個(gè)文件
from PyPDF2 import PdfFileReader, PdfFileMerger
merger = PdfFileMerger()
input1 = open("document1.pdf","rb")
input2 = open("document2.pdf","rb")
merger.append(fileobj = input1, pages = (0,3))
merger.merge(opsition = 2, fileobj = input2, pages = (0,1))
output = open("document-output.pdf","wb")
merger.write(output)

• NLTK：自然語言文本處理
  ——支持語言文本分類、標(biāo)記、語法句法、語義分析等

#將自然語言文本變成樹形結(jié)構(gòu)圖像，并顯示相互之間的關(guān)系
from nltk.corpus import treebank
t = treebank.parsed_sents("wsj_0001.mrg")[0]
t.draw()

• Python-docx：創(chuàng)建或更新word文件的第三方庫
  ——增加并配置段落、圖片、表格、文字等，功能全面

from docx import Document
document = Document()
document.add_heading("Document Title"，0)  #增加標(biāo)題
p = document.add_paragraph("A plain paragraph having some")  #增加段落
document.add_page_break()  #增加分頁符
document.save("demo.docx")  #保存文件

Python庫之機(jī)器學(xué)習(xí)

• Scikit-learn：機(jī)器學(xué)習(xí)方法工具集
  ——提供一批統(tǒng)一化的機(jī)器學(xué)習(xí)方法功能接口
  ——提供聚類、分類、回歸、強(qiáng)化學(xué)習(xí)等計(jì)算功能
• TensorFlow：AlphaGo背后的機(jī)器學(xué)習(xí)計(jì)算框架
  ——谷歌公司推動(dòng)的開源機(jī)器學(xué)習(xí)框架
  ——將數(shù)據(jù)流圖作為基礎(chǔ)，圖節(jié)點(diǎn)代表運(yùn)算，邊代表張量，形成機(jī)器學(xué)習(xí)的整體模式

import tensorflow as tf
init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init)
res = sess.run(result)
print("result:", res)

• MXNet：基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)計(jì)算框架
  ——提供可擴(kuò)展的神經(jīng)網(wǎng)絡(luò)及深度學(xué)習(xí)計(jì)算功能
  ——可用于自動(dòng)駕駛、機(jī)器翻譯、語音識(shí)別等眾多領(lǐng)域

實(shí)例-霍蘭德人格分析雷達(dá)圖

• 通用雷達(dá)圖繪制：matplotlib庫
• 專業(yè)多位數(shù)據(jù)表示：numpy庫

import numpy as np
import matplotlib.pyplot as plt
import matplotlib
matplotlib.rcParams['font.family']='SimHei'
radar_labels = np.array(['研究型(I)','藝術(shù)型(A)','社會(huì)型(S)',\
                         '企業(yè)型(E)','常規(guī)型(C)','現(xiàn)實(shí)型(R)']) #雷達(dá)標(biāo)簽
nAttr = 6
data = np.array([[0.40, 0.32, 0.35, 0.30, 0.30, 0.88],
                 [0.85, 0.35, 0.30, 0.40, 0.40, 0.30],
                 [0.43, 0.89, 0.30, 0.28, 0.22, 0.30],
                 [0.30, 0.25, 0.48, 0.85, 0.45, 0.40],
                 [0.20, 0.38, 0.87, 0.45, 0.32, 0.28],
                 [0.34, 0.31, 0.38, 0.40, 0.92, 0.28]]) #數(shù)據(jù)值
data_labels = ('藝術(shù)家', '實(shí)驗(yàn)員', '工程師', '推銷員', '社會(huì)工作者','記事員')
angles = np.linspace(0, 2*np.pi, nAttr, endpoint=False)
data = np.concatenate((data, [data[0]]))
angles = np.concatenate((angles, [angles[0]]))
fig = plt.figure(facecolor="white")
plt.subplot(111, polar=True)
plt.plot(angles,data,'o-', linewidth=1, alpha=0.2)
plt.fill(angles,data, alpha=0.25)
plt.thetagrids(angles*180/np.pi, radar_labels,frac = 1.2)
plt.figtext(0.52, 0.95, '霍蘭德人格分析', ha='center', size=20)
legend = plt.legend(data_labels, loc=(0.94, 0.80), labelspacing=0.1)
plt.setp(legend.get_texts(), fontsize='large')
plt.grid(True)
plt.savefig('holland_radar.jpg')
plt.show()

2、從Web解析到網(wǎng)絡(luò)空間

Python庫之網(wǎng)絡(luò)爬蟲

• Requests：最友好的網(wǎng)絡(luò)爬蟲功能庫
  ——提供了簡單易用的類HTTP協(xié)議網(wǎng)絡(luò)爬蟲功能
  ——支持連接池、SSL、Cookies、HTTP(S)代理等
  ——Python最主要的頁面級(jí)網(wǎng)絡(luò)爬蟲功能庫

import requests
r = requests.get('http://api.github.com/user', auth=('user', 'pass'))
r.status_code  #獲得訪問網(wǎng)絡(luò)的狀態(tài)
r.headers['content-type']
r.encoding
r.text

• Scrapy：優(yōu)秀的網(wǎng)絡(luò)爬蟲框架，構(gòu)建一個(gè)專業(yè)的網(wǎng)絡(luò)爬蟲系統(tǒng)
  ——提供了構(gòu)建網(wǎng)絡(luò)爬蟲系統(tǒng)的框架功能，框架可以理解為‘功能的半成品’
  ——支持批量和定時(shí)網(wǎng)頁爬取、提供數(shù)據(jù)處理流程等
  ——包含若干的組件
• pyspider：強(qiáng)大的Web頁面爬取系統(tǒng)
  ——提供了完整的網(wǎng)頁爬取系統(tǒng)構(gòu)建功能
  ——支持?jǐn)?shù)據(jù)庫后端、消息隊(duì)列、優(yōu)先級(jí)、分布式架構(gòu)等

Python庫之Web信息提取

• Beautiful Soup：HTML和XML的解析庫
  ——提供了解析HTML和XML等Web信息的功能
  ——又名beautifulsoup4或bs4，可以加載多種解析引擎
  ——常與網(wǎng)絡(luò)爬蟲庫搭配使用
  ——將所有的html頁面以樹形結(jié)構(gòu)進(jìn)行組織，通過下行遍歷、上行遍歷和平行遍歷的操作來解析其中內(nèi)容
• Re：正則表達(dá)式解析和處理功能庫
  ——提供了定義和解析正則表達(dá)式的一批通用功能
  ——可用于各類場景，包括定點(diǎn)的Web信息提取
  ——最重要的場景是在Web信息解析中提取特定的內(nèi)容
  ——Python標(biāo)準(zhǔn)庫，無需安裝

r'\d{3}-\d{8}|\d{4}-\d{7}'
re.search()
re.match()
re.findall()
re.split()
re.finditer()
re.sub()

• Python-Goose：提取文章類型Web頁面的功能庫
  ——提供了對Web頁面中文章信息/視頻等元數(shù)據(jù)的提取功能

from goose import Goose
url = 'http://www.elmundo.es/elmundo/2012/10/28/espana/1351388909.html'
g = Goose({'use_mata_language': False, 'target_language': 'es'})
article = g.extract(url=url)
article.cleaned_text[:150]

Python庫之Web網(wǎng)站開發(fā)

• Django：最流行的Web應(yīng)用框架
  ——提供了構(gòu)建Web系統(tǒng)的基本應(yīng)用框架
  ——MTV模式：模型(model)、模板(Template)、視圖(Views)
  瀏覽器--http-->WSGI(Web服務(wù)器接口)--URLs-->路由-->功能處理邏輯-->HTML/CSS/JS等文件(數(shù)據(jù)庫)
• Pyramid：規(guī)模適中的Web應(yīng)用框架
  ——提供了簡單方便構(gòu)建Web系統(tǒng)的應(yīng)用框架
  ——不大不小，規(guī)模適中，適合快速構(gòu)建并適度擴(kuò)展類應(yīng)用
  ——Python產(chǎn)品級(jí)Web應(yīng)用框架，起步簡單可擴(kuò)展性好

from wsgiref.simple_server import make_server
from pyramid.comfig import Configuator
from pyramid.response import Response
def hello_world(request):
  return Response('Hello World')
if _name_ == '_main_':
  with Configurator() as config:
    config.add_route('hello', '/')
    config.add_view(hello_world, route_name='hello')
    app = config.make_wsgi_app()
  server = make_server('0.0.0.0', 6543, app)
  server.serve_forever()

• Flask：Web應(yīng)用開發(fā)的維框架
  ——提供了最簡單構(gòu)建Web系統(tǒng)的應(yīng)用框架
  ——特點(diǎn)是：簡單、規(guī)模小、快速

from flask import Flask
app = Flask(_name_)
@app.route('/')
def hello_world():
  return 'Hello World!'

• WeRoBot：微信公眾號(hào)開發(fā)框架
  ——提供了解析微信服務(wù)器消息及反饋消息的功能
  ——建立微信機(jī)器人的重要技術(shù)手段

import werobot
robot = werobot.WeRoBot(token='tokenhere')
@robot.handler
def hello(message):
  return 'Hello World'

• aip：百度AI開放平臺(tái)接口
  ——提供了訪問百度AI服務(wù)的Python功能接口
  ——語音、人臉、OCR、NLP、知識(shí)圖譜、圖像搜索等領(lǐng)域
• MyQR：二維碼生成第三方庫
  ——基本二維碼、藝術(shù)二維碼和動(dòng)態(tài)二維碼

3、從人機(jī)交互到藝術(shù)設(shè)計(jì)

Python庫之圖形用戶界面

• PyQt5：Qt開發(fā)框架的Python接口
  ——提供了創(chuàng)建Qt5程序的Python API接口
  ——Qt是非常成熟的跨平臺(tái)桌面應(yīng)用開發(fā)系統(tǒng)，具備完備的GUI(圖形用戶界面)
• wxPython：跨平臺(tái)GUI開發(fā)框架
  ——理解數(shù)據(jù)類型與索引的關(guān)系，操作索引即操作數(shù)據(jù)
  ——最主要的數(shù)據(jù)分析功能庫，基于Numpy開發(fā)

import wx
app = wx.App(False)
frame = wx.Frame(None, wx.ID_ANY, 'Hello World')
frame.Show(True)
app.MainLoop()

• PyGObject：使用GTK+開發(fā)GUI的功能庫
  ——提供了整合GTK+、WebKitGTK+等庫的功能
  ——GTK+：跨平臺(tái)的一種用戶圖形界面GUI框架
  ——實(shí)例：Anaconda采用該庫構(gòu)建GUI

import gi
gi.require_version("Gtk", "3.0")
from gi.repository import Gtk
window = Gtk.Window(title="Hello World")
window.show()
window.connect("destroy", Gtk.main_quit)
Gtk.main()

Python庫之游戲開發(fā)

• PyGame：簡單的游戲開發(fā)功能庫
• Panda3D：開源、跨平臺(tái)的3D渲染和游戲開發(fā)庫
  ——一個(gè)3D游戲引擎，提供Python和C++兩種接口
  ——支持很多先進(jìn)特性：法線貼圖、光澤貼圖、卡通渲染等
  ——有迪士尼和卡尼基梅隆大學(xué)共同開發(fā)
• cocos2d：構(gòu)建2D游戲和圖形界面交互式應(yīng)用的框架
  ——提供了基于OpenGL的游戲開發(fā)圖形渲染功能
  ——支持GPU加速，采用樹形結(jié)構(gòu)分層管理游戲?qū)ο箢愋?br> ——適合專業(yè)級(jí)2D游戲開發(fā)

Python庫之虛擬現(xiàn)實(shí)

• VR Zero：在樹莓派上開發(fā)VR應(yīng)用的Python庫
  ——針對樹莓派的VR開發(fā)庫，支持設(shè)備小型化，配置簡單化
  ——非常適合初學(xué)者實(shí)踐VR開發(fā)及應(yīng)用
  ——樹莓派：Raspberry Pi，小型嵌入式硬件，為學(xué)習(xí)計(jì)算機(jī)編程教育而設(shè)計(jì)，只有信用卡大小，其系統(tǒng)基于Linux
• pyovr：Oculus Rift的Python開發(fā)接口
  ——針對Oculus VR設(shè)備的開發(fā)庫
  ——基于成熟的VR設(shè)備，提供全套文檔，工業(yè)級(jí)應(yīng)用設(shè)備
• Vizard：基于Python的通用VR開發(fā)引擎
  ——專業(yè)的企業(yè)級(jí)虛擬現(xiàn)實(shí)開發(fā)引擎
  ——提供詳細(xì)的官方文檔
  ——支持多種主流的VR硬件設(shè)備，具有一定的通用性

Python庫之圖形藝術(shù)

• Quads：迭代的藝術(shù)
  ——對圖片進(jìn)行四分迭代，形成像素風(fēng)
  ——可以生成動(dòng)圖或靜態(tài)圖像
  ——簡單易用，具有很高的展示度
• ascii_art：ASCII藝術(shù)庫
  ——將普通圖片轉(zhuǎn)換為ASCII藝術(shù)風(fēng)格
  ——輸出可以是純文本或彩色文本
  ——可以采用圖片格式輸出
• turtle：海龜繪圖庫