1.進(jìn)程

1.多任務(wù)的引入

有很多的場景中的事情是同時進(jìn)行的，比如開車的時候手和腳共同來駕駛汽車，再比如唱歌跳舞也是同時進(jìn)行的；

運行結(jié)果：

·此時顯然剛剛的程序并沒有完成唱歌和跳舞同時進(jìn)行的要求

·如果想要實現(xiàn)“唱歌跳舞”同時進(jìn)行，那么就需要一個新的方法，叫做：多任務(wù)

2.多任務(wù)的概念

多任務(wù)處理是指用戶可以在同一時間內(nèi)運行多個應(yīng)用程序,每個應(yīng)用程序被稱作一個任務(wù).Linux、windows就是支持多任務(wù)的操作系統(tǒng),比起單任務(wù)系統(tǒng)它的功能增強了許多。

1.進(jìn)程的創(chuàng)建-fork

1.進(jìn)程VS程序

編寫完畢的代碼，在沒有運行的時候，稱之為程序

正在運行著的代碼，就成為進(jìn)程

進(jìn)程，除了包含代碼以外，還有需要運行的環(huán)境等，所以和程序是有區(qū)別的

2.fork()

Python的os模塊封裝了常見的系統(tǒng)調(diào)用，其中就包括fork，可以在Python程序中輕松創(chuàng)建子進(jìn)程：

運行結(jié)果：

說明：

·程序執(zhí)行到os.fork()時，操作系統(tǒng)會創(chuàng)建一個新的進(jìn)程（子進(jìn)程），然后復(fù)制父進(jìn)程的所有信息到子進(jìn)程中

·然后父進(jìn)程和子進(jìn)程都會從fork()函數(shù)中得到一個返回值，在子進(jìn)程中這個值一定是0，而父進(jìn)程中是子進(jìn)程的id號

在Unix/Linux操作系統(tǒng)中，提供了一個fork()系統(tǒng)函數(shù)，它非常特殊。

普通的函數(shù)調(diào)用，調(diào)用一次，返回一次，但是fork()調(diào)用一次，返回兩次，因為操作系統(tǒng)自動把當(dāng)前進(jìn)程（稱為父進(jìn)程）復(fù)制了一份（稱為子進(jìn)程），然后，分別在父進(jìn)程和子進(jìn)程內(nèi)返回。

子進(jìn)程永遠(yuǎn)返回0，而父進(jìn)程返回子進(jìn)程的ID。

這樣做的理由是，一個父進(jìn)程可以fork出很多子進(jìn)程，所以，父進(jìn)程要記下每個子進(jìn)程的ID，而子進(jìn)程只需要調(diào)用getppid()就可以拿到父進(jìn)程的ID。

2.getpid()、getppid()

運行結(jié)果：

3.多進(jìn)程修改全局變量

運行結(jié)果：

總結(jié)：

多進(jìn)程中，每個進(jìn)程中所有數(shù)據(jù)（包括全局變量）都各有擁有一份，互不影響

4.多次fork問題

運行結(jié)果：

說明：

父子進(jìn)程的執(zhí)行順序

父進(jìn)程、子進(jìn)程執(zhí)行順序沒有規(guī)律，完全取決于操作系統(tǒng)的調(diào)度算法

5.multiprocessing

由于Python是跨平臺的，自然也應(yīng)該提供一個跨平臺的多進(jìn)程支持。multiprocessing模塊就是跨平臺版本的多進(jìn)程模塊。

multiprocessing模塊提供了一個Process類來代表一個進(jìn)程對象，下面的例子演示了啟動一個子進(jìn)程并等待其結(jié)束：

運行結(jié)果：

說明

·創(chuàng)建子進(jìn)程時，只需要傳入一個執(zhí)行函數(shù)和函數(shù)的參數(shù)，創(chuàng)建一個Process實例，用start()方法啟動，這樣創(chuàng)建進(jìn)程比fork()還要簡單。

·join()方法可以等待子進(jìn)程結(jié)束后再繼續(xù)往下運行，通常用于進(jìn)程間的同步。

Process語法結(jié)構(gòu)如下：

Process([group [, target [, name [, args [, kwargs]]]]])

·target：表示這個進(jìn)程實例所調(diào)用對象；

·args：表示調(diào)用對象的位置參數(shù)元組；

·kwargs：表示調(diào)用對象的關(guān)鍵字參數(shù)字典；

·name：為當(dāng)前進(jìn)程實例的別名；

·group：大多數(shù)情況下用不到；

Process類常用方法：

·is_alive()：判斷進(jìn)程實例是否還在執(zhí)行；

·join([timeout])：是否等待進(jìn)程實例執(zhí)行結(jié)束，或等待多少秒；

·start()：啟動進(jìn)程實例（創(chuàng)建子進(jìn)程）；

·run()：如果沒有給定target參數(shù)，對這個對象調(diào)用start()方法時，就將執(zhí)行對象中的run()方法；

·terminate()：不管任務(wù)是否完成，立即終止；

Process類常用屬性：

·name：當(dāng)前進(jìn)程實例別名，默認(rèn)為Process-N，N為從1開始遞增的整數(shù)；

·pid：當(dāng)前進(jìn)程實例的PID值；

例1：

運行結(jié)果：

例2：

運行結(jié)果：

6.進(jìn)程的創(chuàng)建-Process子類

運行結(jié)果：

兩種方式的對比：

1、方法

2、繼承類

繼承類是以面向?qū)ο罂紤]這個事的，所以業(yè)務(wù)邏輯復(fù)雜，建議使用繼承類，更好理解

7.進(jìn)程池Pool

當(dāng)需要創(chuàng)建的子進(jìn)程數(shù)量不多時，可以直接利用multiprocessing中的Process動態(tài)成生多個進(jìn)程，但如果是上百甚至上千個目標(biāo)，手動的去創(chuàng)建進(jìn)程的工作量巨大，此時就可以用到multiprocessing模塊提供的Pool方法。

初始化Pool時，可以指定一個最大進(jìn)程數(shù)，當(dāng)有新的請求提交到Pool中時，如果池還沒有滿，那么就會創(chuàng)建一個新的進(jìn)程用來執(zhí)行該請求；但如果池中的進(jìn)程數(shù)已經(jīng)達(dá)到指定的最大值，那么該請求就會等待，直到池中有進(jìn)程結(jié)束，才會創(chuàng)建新的進(jìn)程來執(zhí)行，請看下面的實例：

運行結(jié)果：

總結(jié)：

multiprocessing.Pool常用函數(shù)解析：

·apply_async(func[, args[, kwds]])：使用非阻塞方式調(diào)用func（并行執(zhí)行，堵塞方式必須等待上一個進(jìn)程退出才能執(zhí)行下一個進(jìn)程），args為傳遞給func的參數(shù)列表，kwds為傳遞給func的關(guān)鍵字參數(shù)列表；

·apply(func[, args[, kwds]])：使用阻塞方式調(diào)用func

·close()：關(guān)閉Pool，使其不再接受新的任務(wù)；

·terminate()：不管任務(wù)是否完成，立即終止；

·join()：主進(jìn)程阻塞，等待子進(jìn)程的退出， 必須在close或terminate之后使用；

這里我們主要分析下1.apply堵塞式

運行結(jié)果：

說明：當(dāng)一個函數(shù)的參數(shù)存在于一個元組或者一個字典中時，用來間接的調(diào)用這個函數(shù)，并肩元組或者字典中的參數(shù)按照順序傳遞給參數(shù)。這里我的理解是當(dāng)成單線程在執(zhí)行。

8.進(jìn)程間通信-Queue

Process之間有時需要通信，操作系統(tǒng)提供了很多機制來實現(xiàn)進(jìn)程間的通信。

1. Queue的使用

可以使用multiprocessing模塊的Queue實現(xiàn)多進(jìn)程之間的數(shù)據(jù)傳遞，Queue本身是一個消息列隊程序，首先用一個小實例來演示一下Queue的工作原理：

運行結(jié)果：

說明

初始化Queue()對象時（例如：q=Queue()），若括號中沒有指定最大可接收的消息數(shù)量，或數(shù)量為負(fù)值，那么就代表可接受的消息數(shù)量沒有上限（直到內(nèi)存的盡頭）；

Queue.qsize() 返回隊列的大小

Queue.empty() 如果隊列為空，返回True,反之False

Queue.full() 如果隊列滿了，返回True,反之False

Queue.full 與 maxsize 大小對應(yīng)

Queue.get([block[, timeout]]) 獲取隊列，timeout等待時間

Queue.get_nowait() 相當(dāng)Queue.get(False)

非阻塞 Queue.put(item) 寫入隊列，timeout等待時間

Queue.put_nowait(item) 相當(dāng)Queue.put(item, False)

Queue.task_done() 在完成一項工作之后，Queue.task_done() 函數(shù)向任務(wù)已經(jīng)完成的隊列發(fā)送一個信號

Queue.join() 實際上意味著等到隊列為空，再執(zhí)行別的操作

·Queue.put(item,[block[, timeout]])：將item消息寫入隊列，block默認(rèn)值為True；

1）如果block使用默認(rèn)值，且沒有設(shè)置timeout（單位秒），消息列隊如果已經(jīng)沒有空間可寫入，此時程序?qū)⒈蛔枞ㄍＴ趯懭霠顟B(tài)），直到從消息列隊騰出空間為止，如果設(shè)置了timeout，則會等待timeout秒，若還沒空間，則拋出"Queue.Full"異常；

2）如果block值為False，消息列隊如果沒有空間可寫入，則會立刻拋出"Queue.Full"異常；

·Queue.put_nowait(item)：相當(dāng)Queue.put(item, False)；

2. Queue實例

注意參數(shù)的傳遞

我們以Queue為例，在父進(jìn)程中創(chuàng)建兩個子進(jìn)程，一個往Queue里寫數(shù)據(jù)，一個從Queue里讀數(shù)據(jù)：

運行結(jié)果：

3.進(jìn)程池中的Queue

如果要使用Pool創(chuàng)建進(jìn)程，就需要使用multiprocessing.Manager()中的Queue()，而不是multiprocessing.Queue()，否則會得到一條如下的錯誤信息：

RuntimeError: Queue objects should only be shared between processes through inheritance.

下面的實例演示了進(jìn)程池中的進(jìn)程如何通信：

運行結(jié)果：