一多任務(wù)的引入

有很多的場景中的事情是同時進(jìn)行的，比如開車的時候手和腳共同來駕駛汽車，再比如唱歌跳舞也是同時進(jìn)行的；

在編程中，一邊唱歌一邊跳舞是如何實(shí)現(xiàn)的呢？

·很顯然剛剛的程序并沒有完成唱歌和跳舞同時進(jìn)行的要求

·如果想要實(shí)現(xiàn)“唱歌跳舞”同時進(jìn)行，那么就需要一個新的方法，叫做：多任務(wù)

二多任務(wù)的概念

什么叫“多任務(wù)”呢？簡單地說，就是操作系統(tǒng)可以同時運(yùn)行多個任務(wù)。打個比方，你一邊在用瀏覽器上網(wǎng)，一邊在聽MP3，一邊在用Word趕作業(yè)，這就是多任務(wù)，至少同時有3個任務(wù)正在運(yùn)行。還有很多任務(wù)悄悄地在后臺同時運(yùn)行著，只是桌面上沒有顯示而已。

現(xiàn)在，多核CPU已經(jīng)非常普及了，但是，即使過去的單核CPU，也可以執(zhí)行多任務(wù)。由于CPU執(zhí)行代碼都是順序執(zhí)行的，那么，單核CPU是怎么執(zhí)行多任務(wù)的呢？

答案就是操作系統(tǒng)輪流讓各個任務(wù)交替執(zhí)行，任務(wù)1執(zhí)行0.01秒，切換到任務(wù)2，任務(wù)2執(zhí)行0.01秒，再切換到任務(wù)3，執(zhí)行0.01秒……這樣反復(fù)執(zhí)行下去。表面上看，每個任務(wù)都是交替執(zhí)行的，但是，由于CPU的執(zhí)行速度實(shí)在是太快了，我們感覺就像所有任務(wù)都在同時執(zhí)行一樣。

真正的并行執(zhí)行多任務(wù)只能在多核CPU上實(shí)現(xiàn)，但是，由于任務(wù)數(shù)量遠(yuǎn)遠(yuǎn)多于CPU的核心數(shù)量，所以，操作系統(tǒng)也會自動把很多任務(wù)輪流調(diào)度到每個核心上執(zhí)行。

三進(jìn)程的創(chuàng)建-fork

1.進(jìn)程 vs 程序

編寫完畢的代碼，在沒有運(yùn)行的時候，稱之為程序

正在運(yùn)行著的代碼，就成為進(jìn)程

進(jìn)程，除了包含代碼以外，還有需要運(yùn)行的環(huán)境等，所以和程序是有區(qū)別的。

2.fork

Python的os模塊封裝了常見的系統(tǒng)調(diào)用，其中就包括fork，可以在Python程序中輕松創(chuàng)建子進(jìn)程：

·程序執(zhí)行到os.fork()時，操作系統(tǒng)會創(chuàng)建一個新的進(jìn)程（子進(jìn)程），然后復(fù)制父進(jìn)程的所有信息到子進(jìn)程中。

·然后父進(jìn)程和子進(jìn)程都會從fork()函數(shù)中得到一個返回值，在子進(jìn)程中這個值一定是0，而父進(jìn)程中是子進(jìn)程的id號。

在Unix/Linux操作系統(tǒng)中，提供了一個fork()系統(tǒng)函數(shù)，它非常特殊。

普通的函數(shù)調(diào)用，調(diào)用一次，返回一次，但是fork()調(diào)用一次，返回兩次，因?yàn)椴僮飨到y(tǒng)自動把當(dāng)前進(jìn)程（稱為父進(jìn)程）復(fù)制了一份（稱為子進(jìn)程），然后，分別在父進(jìn)程和子進(jìn)程內(nèi)返回。

子進(jìn)程永遠(yuǎn)返回0，而父進(jìn)程返回子進(jìn)程的ID。

這樣做的理由是，一個父進(jìn)程可以fork出很多子進(jìn)程，所以，父進(jìn)程要記下每個子進(jìn)程的ID，而子進(jìn)程只需要調(diào)用getppid()就可以拿到父進(jìn)程的ID。

四getpid(),getppid()

通過os.pid()和os.ppid()可以獲得程序的子進(jìn)程的進(jìn)程號和父進(jìn)程的進(jìn)程號

五多進(jìn)程修改全局變量

·多進(jìn)程中，每個進(jìn)程中所有數(shù)據(jù)（包括全局變量）都各有擁有一份，互不影響。

六多次fork問題

如果在一個程序，有2次的fork函數(shù)調(diào)用，是否就會有3個進(jìn)程呢？

父子進(jìn)程的執(zhí)行順序

父進(jìn)程、子進(jìn)程執(zhí)行順序沒有規(guī)律，完全取決于操作系統(tǒng)的調(diào)度算法

七multiprocessing

1 fork只能在Unix/Linux上使用

multiprocessing模塊就是跨平臺版本的多進(jìn)程模塊，可以在windows系統(tǒng)上使用。

multiprocessing模塊提供了一個Process類來代表一個進(jìn)程對象，下面的例子演示了啟動一個子進(jìn)程并等待其結(jié)束：

創(chuàng)建子進(jìn)程時，只需要傳入一個執(zhí)行函數(shù)和函數(shù)的參數(shù)，創(chuàng)建一個Process實(shí)例，用start方法啟動，比fork()還簡單.

·join()方法可以等待子進(jìn)程結(jié)束后再繼續(xù)往下運(yùn)行，通常用于進(jìn)程間的同步。

Process語法結(jié)構(gòu)如下：

Process([group [, target [, name [, args [, kwargs]]]]])

target：表示這個進(jìn)程實(shí)例所調(diào)用對象

args：表示調(diào)用對象的位置參數(shù)元組

kwargs：表示調(diào)用對象的關(guān)鍵字參數(shù)字典

name：為當(dāng)前進(jìn)程實(shí)例的別名

group：大多數(shù)情況下用不到

Process類常用方法：

·is_alive()：判斷進(jìn)程實(shí)例是否還在執(zhí)行；

·join([timeout])：是否等待進(jìn)程實(shí)例執(zhí)行結(jié)束，或等待多少秒；

·start()：啟動進(jìn)程實(shí)例（創(chuàng)建子進(jìn)程）；

·run()：如果沒有給定target參數(shù)，對這個對象調(diào)用start()方法時，就將執(zhí)行對象中的run()方法；

·terminate()：不管任務(wù)是否完成，立即終止；

Process類常用屬性：

·name：當(dāng)前進(jìn)程實(shí)例別名，默認(rèn)為Process-N，N為從1開始遞增的整數(shù)；

·pid：當(dāng)前進(jìn)程實(shí)例的PID值；

實(shí)例1：

實(shí)例二：

八進(jìn)程的創(chuàng)建-Process子類

創(chuàng)建新的進(jìn)程還能夠使用類的方式，可以自定義一個類，繼承Process類，每次實(shí)例化這個類的時候，就等同于實(shí)例化一個進(jìn)程對象，請看下面的實(shí)例：

兩種方式的對比：

1、方法

2、繼承類

繼承類是以面向?qū)ο罂紤]這個事的，所以業(yè)務(wù)邏輯復(fù)雜，建議使用繼承類，更好理解

九進(jìn)程池Pool

當(dāng)需要創(chuàng)建的子進(jìn)程數(shù)量不多時，可以直接利用multiprocessing中的Process動態(tài)成生多個進(jìn)程，但如果是上百甚至上千個目標(biāo)，手動的去創(chuàng)建進(jìn)程的工作量巨大，此時就可以用到multiprocessing模塊提供的Pool方法。

初始化Pool時，可以指定一個最大進(jìn)程數(shù)，當(dāng)有新的請求提交到Pool中時，如果池還沒有滿，那么就會創(chuàng)建一個新的進(jìn)程用來執(zhí)行該請求；但如果池中的進(jìn)程數(shù)已經(jīng)達(dá)到指定的最大值，那么該請求就會等待，直到池中有進(jìn)程結(jié)束，才會創(chuàng)建新的進(jìn)程來執(zhí)行，請看下面的實(shí)例：

multiprocessing.Pool常用函數(shù)解析：

1創(chuàng)建一個進(jìn)程池

from multiprocessing import Pool

po=Pool(num)

num等于進(jìn)程池中的進(jìn)程數(shù)量，如果不設(shè)置num默認(rèn)可以放任意數(shù)量進(jìn)程

2為進(jìn)程池中添加進(jìn)程（非阻塞式）

po.apply_async(func,(args,),(kwargs,))

使用非阻塞方式調(diào)用func，func為創(chuàng)建子進(jìn)程的函數(shù)名（并行執(zhí)行，阻塞方式必須等待上一個進(jìn)程退出才能執(zhí)行下一個進(jìn)程），args為傳遞給func的參數(shù)列表，kwargs為傳遞給func的關(guān)鍵字參數(shù)列表；

3為進(jìn)程池中添加進(jìn)程（阻塞式）

po.apply(func,(args,),(kwargs,)）

和非阻塞式最大的區(qū)別就是上一個進(jìn)程退出才能調(diào)用下一個進(jìn)程

4關(guān)閉進(jìn)程池

po.close()

關(guān)閉Pool，使其不再接受新的任務(wù)

5終止進(jìn)程

pool.terminate()

不管任務(wù)是否完成，立刻終止

6 join

pool.join()

主進(jìn)程阻塞，等待子進(jìn)程的退出，必須在close或terminate之后使用

apply阻塞式的實(shí)例：

十進(jìn)程間通信-Queue

Process之間有時需要通信，操作系統(tǒng)提供了很多機(jī)制來實(shí)現(xiàn)進(jìn)程間的通信。

1 Queue的使用

可以使用multiprocessing模塊中的Queue來實(shí)現(xiàn)多進(jìn)程之間的數(shù)據(jù)傳遞，Queue本身是一個消息列隊(duì)程序，下面用一個小程序來演示Queue的工作原理：

推薦放消息的方式：判斷隊(duì)列是否已滿，再寫入；

推薦讀消息的方式：判斷隊(duì)列是否為空，再讀?。?/p>

說明

初始化Queue()對象時（例如q=Queue()）,若括號中沒有指定最大可接收的消息數(shù)量或數(shù)量為負(fù)值，那么就代表可接受的消息數(shù)量沒有上限。

q=Queue（3）

①q.qsize()

返回當(dāng)前隊(duì)列中包含的消息數(shù)量；

②q.empty()

如果隊(duì)列為空，返回True，反之False；

③q.full()

·如果隊(duì)列滿了，返回True,反之False；

④q.get(block,timeout)

·獲取隊(duì)列中的一條消息，然后將其從列隊(duì)中移除，block默認(rèn)值為True；

1）如果block使用默認(rèn)值，且沒有設(shè)置timeout（單位秒），消息列隊(duì)如果為空，此時程序?qū)⒈蛔枞ㄍＴ谧x取狀態(tài)），直到從消息列隊(duì)讀到消息為止，如果設(shè)置了timeout，則會等待timeout秒，若還沒讀取到任何消息，則拋出"Queue.Empty"異常；

2）如果block值為False，消息列隊(duì)如果為空，則會立刻拋出"Queue.Empty"異常；

⑤q.get_nowait()

相當(dāng)Queue.get(False)；

⑥q.put(item,[block[, timeout]])

將item消息寫入隊(duì)列，block默認(rèn)值為True；

1）如果block使用默認(rèn)值，且沒有設(shè)置timeout（單位秒），消息列隊(duì)如果已經(jīng)沒有空間可寫入，此時程序?qū)⒈蛔枞ㄍＴ趯懭霠顟B(tài)），直到從消息列隊(duì)騰出空間為止，如果設(shè)置了timeout，則會等待timeout秒，若還沒空間，則拋出"Queue.Full"異常；

2）如果block值為False，消息列隊(duì)如果沒有空間可寫入，則會立刻拋出"Queue.Full"異常；

⑦q.put_nowait(item)

相當(dāng)Queue.put(item, False)；

2 Queue實(shí)例

注意參數(shù)的傳遞

我們以Queue為例，在父進(jìn)程中創(chuàng)建兩個子進(jìn)程，一個往Queue里寫數(shù)據(jù)，一個從Queue里讀數(shù)據(jù)：

3 進(jìn)程池中的Queue

如果要使用Pool創(chuàng)建進(jìn)程，就需要使用multiprocessing.Manager()中的Queue()，而不是multiprocessing.Queue()，否則會得到一條如下的錯誤信息：

RuntimeError: Queue objects should only be shared between processes through inheritance.

下面的實(shí)例演示了進(jìn)程池中的進(jìn)程如何通信：