1.1.1多任務(wù)的引入

什么叫“多任務(wù)”呢？簡單地說，就是操作系統(tǒng)可以同時(shí)運(yùn)行多個(gè)任務(wù)。打個(gè)比方，你一邊在用瀏覽器上網(wǎng)，一邊在聽MP3，一邊在用Word趕作業(yè)，這就是多任務(wù)，至少同時(shí)有3個(gè)任務(wù)正在運(yùn)行。還有很多任務(wù)悄悄地在后臺(tái)同時(shí)運(yùn)行著，只是桌面上沒有顯示而已。

現(xiàn)在，多核CPU已經(jīng)非常普及了，但是，即使過去的單核CPU，也可以執(zhí)行多任務(wù)。由于CPU執(zhí)行代碼都是順序執(zhí)行的，那么，單核CPU是怎么執(zhí)行多任務(wù)的呢？

答案就是操作系統(tǒng)輪流讓各個(gè)任務(wù)交替執(zhí)行，任務(wù)1執(zhí)行0.01秒，切換到任務(wù)2，任務(wù)2執(zhí)行0.01秒，再切換到任務(wù)3，執(zhí)行0.01秒……這樣反復(fù)執(zhí)行下去。表面上看，每個(gè)任務(wù)都是交替執(zhí)行的，但是，由于CPU的執(zhí)行速度實(shí)在是太快了，我們感覺就像所有任務(wù)都在同時(shí)執(zhí)行一樣。

真正的并行執(zhí)行多任務(wù)只能在多核CPU上實(shí)現(xiàn)，但是，由于任務(wù)數(shù)量遠(yuǎn)遠(yuǎn)多于CPU的核心數(shù)量，所以，操作系統(tǒng)也會(huì)自動(dòng)把很多任務(wù)輪流調(diào)度到每個(gè)核心上執(zhí)行。

對(duì)于操作系統(tǒng)來說，一個(gè)任務(wù)就是一個(gè)進(jìn)程（Process），比如打開一個(gè)瀏覽器就是啟動(dòng)一個(gè)瀏覽器進(jìn)程，打開一個(gè)記事本就啟動(dòng)了一個(gè)記事本進(jìn)程，打開兩個(gè)記事本就啟動(dòng)了兩個(gè)記事本進(jìn)程，打開一個(gè)Word就啟動(dòng)了一個(gè)Word進(jìn)程。

有些進(jìn)程還不止同時(shí)干一件事，比如Word，它可以同時(shí)進(jìn)行打字、拼寫檢查、打印等事情。在一個(gè)進(jìn)程內(nèi)部，要同時(shí)干多件事，就需要同時(shí)運(yùn)行多個(gè)“子任務(wù)”，我們把進(jìn)程內(nèi)的這些“子任務(wù)”稱為線程（Thread）。

由于每個(gè)進(jìn)程至少要干一件事，所以，一個(gè)進(jìn)程至少有一個(gè)線程。當(dāng)然，像Word這種復(fù)雜的進(jìn)程可以有多個(gè)線程，多個(gè)線程可以同時(shí)執(zhí)行，多線程的執(zhí)行方式和多進(jìn)程是一樣的，也是由操作系統(tǒng)在多個(gè)線程之間快速切換，讓每個(gè)線程都短暫地交替運(yùn)行，看起來就像同時(shí)執(zhí)行一樣。當(dāng)然，真正地同時(shí)執(zhí)行多線程需要多核CPU才可能實(shí)現(xiàn)。

多任務(wù)的實(shí)現(xiàn)有3種方式：

多進(jìn)程模式；

多線程模式；

多進(jìn)程+多線程模式。

同時(shí)執(zhí)行多個(gè)任務(wù)通常各個(gè)任務(wù)之間并不是沒有關(guān)聯(lián)的，而是需要相互通信和協(xié)調(diào)，有時(shí)，任務(wù)1必須暫停等待任務(wù)2完成后才能繼續(xù)執(zhí)行，有時(shí)，任務(wù)3和任務(wù)4又不能同時(shí)執(zhí)行，所以，多進(jìn)程和多線程的程序的復(fù)雜度要遠(yuǎn)遠(yuǎn)高于我們前面寫的單進(jìn)程單線程的程序。Queue

小結(jié)

線程是最小的執(zhí)行單元，而進(jìn)程由至少一個(gè)線程組成。如何調(diào)度進(jìn)程和線程，完全由操作系統(tǒng)決定，程序自己不能決定什么時(shí)候執(zhí)行，執(zhí)行多長時(shí)間。

多進(jìn)程和多線程的程序涉及到同步、數(shù)據(jù)共享的問題，編寫起來更復(fù)雜。

進(jìn)程的創(chuàng)建-fork

1.進(jìn)程VS程序

編寫完畢的代碼，在沒有運(yùn)行的時(shí)候，稱之為程序

正在運(yùn)行著的代碼，就成為進(jìn)程

進(jìn)程，除了包含代碼以外，還有需要運(yùn)行的環(huán)境等，所以和程序是有區(qū)別的

2. fork( ) ? ?注意，fork函數(shù)，只在Unix/Linux/Mac上運(yùn)行，windows不可以

普通的函數(shù)調(diào)用，調(diào)用一次，返回一次，但是fork()調(diào)用一次，返回兩次，因?yàn)椴僮飨到y(tǒng)自動(dòng)把當(dāng)前進(jìn)程（稱為父進(jìn)程）復(fù)制了一份（稱為子進(jìn)程），然后，分別在父進(jìn)程和子進(jìn)程內(nèi)返回。

子進(jìn)程永遠(yuǎn)返回0，而父進(jìn)程返回子進(jìn)程的ID。這樣做的理由是，一個(gè)父進(jìn)程可以fork出很多子進(jìn)程，所以，父進(jìn)程要記下每個(gè)子進(jìn)程的ID，而子進(jìn)程只需要調(diào)用getppid()就可以拿到父進(jìn)程的ID。

Python的os模塊封裝了常見的系統(tǒng)調(diào)用，其中就包括fork，可以在Python程序中輕松創(chuàng)建子進(jìn)程：

·多進(jìn)程中，每個(gè)進(jìn)程中所有數(shù)據(jù)（包括全局變量）都各有擁有一份，互不影響

1.1.1多次fork問題

父子進(jìn)程的執(zhí)行順序

父進(jìn)程、子進(jìn)程執(zhí)行順序沒有規(guī)律，完全取決于操作系統(tǒng)的調(diào)度算法

如果打算編寫多進(jìn)程的服務(wù)程序，Unix/Linux無疑是正確的選擇。由于Windows沒有fork調(diào)用，可以通過multiprocessing模塊進(jìn)行編寫

multiprocessing模塊提供了一個(gè)Process類來代表一個(gè)進(jìn)程對(duì)象，下面的例子演示了啟動(dòng)一個(gè)子進(jìn)程并等待其結(jié)束：

說明

·創(chuàng)建子進(jìn)程時(shí)，只需要傳入一個(gè)執(zhí)行函數(shù)和函數(shù)的參數(shù)，創(chuàng)建一個(gè)Process實(shí)例，用start()方法啟動(dòng)，這樣創(chuàng)建進(jìn)程比fork()還要簡單。

·join()方法可以等待子進(jìn)程結(jié)束后再繼續(xù)往下運(yùn)行，通常用于進(jìn)程間的同步。

Process語法結(jié)構(gòu)如下：

Process([group [, target [, name [, args [, kwargs]]]]])

·target：表示這個(gè)進(jìn)程實(shí)例所調(diào)用對(duì)象；

·args：表示調(diào)用對(duì)象的位置參數(shù)元組；

·kwargs：表示調(diào)用對(duì)象的關(guān)鍵字參數(shù)字典；

·name：為當(dāng)前進(jìn)程實(shí)例的別名；

·group：大多數(shù)情況下用不到；

Process類常用方法：

·is_alive()：判斷進(jìn)程實(shí)例是否還在執(zhí)行；

·join([timeout])：是否等待進(jìn)程實(shí)例執(zhí)行結(jié)束，或等待多少秒；

·start()：啟動(dòng)進(jìn)程實(shí)例（創(chuàng)建子進(jìn)程）；

·run()：如果沒有給定target參數(shù)，對(duì)這個(gè)對(duì)象調(diào)用start()方法時(shí)，就將執(zhí)行對(duì)象中的run()方法；

·terminate()：不管任務(wù)是否完成，立即終止；

Process類常用屬性：

·name：當(dāng)前進(jìn)程實(shí)例別名，默認(rèn)為Process-N，N為從1開始遞增的整數(shù)；

·pid：當(dāng)前進(jìn)程實(shí)例的PID值；

line 21,22

創(chuàng)建兩個(gè)進(jìn)程對(duì)象，target指向這個(gè)進(jìn)程對(duì)象要執(zhí)行的對(duì)象名稱，

args后面的元組中，是要傳遞給worker_1方法的參數(shù)，

因?yàn)閣orker_1方法就一個(gè)interval參數(shù)，這里傳遞一個(gè)整數(shù)2給它，

如果不指定name參數(shù)，默認(rèn)的進(jìn)程對(duì)象名稱為Process-N，N為一個(gè)遞增的整數(shù)

line 23,24

使用"進(jìn)程對(duì)象名稱.start()"來創(chuàng)建并執(zhí)行一個(gè)子進(jìn)程，

這兩個(gè)進(jìn)程對(duì)象在start后，就會(huì)分別去執(zhí)行worker_1和worker_2方法中的內(nèi)容

line 25

同時(shí)父進(jìn)程仍然往下執(zhí)行，如果p2進(jìn)程還在執(zhí)行，將會(huì)返回True

line 26~29

輸出p1和p2進(jìn)程的別名和pid

line 30,31

join括號(hào)中不攜帶參數(shù)，表示父進(jìn)程在這個(gè)位置要等待p1進(jìn)程執(zhí)行完成后，

再繼續(xù)執(zhí)行下面的語句，一般用于進(jìn)程間的數(shù)據(jù)同步，如果不寫這一句，

下面的is_alive判斷將會(huì)是True，在shell（cmd）里面調(diào)用這個(gè)程序時(shí)

可以完整的看到這個(gè)過程，大家可以嘗試著將下面的這條語句改成p1.join(1)，

因?yàn)閜2需要2秒以上才可能執(zhí)行完成，父進(jìn)程等待1秒很可能不能讓p1完全執(zhí)行完成，

所以下面的print會(huì)輸出True，即p1仍然在執(zhí)行

1.1.1進(jìn)程池Pool

當(dāng)需要?jiǎng)?chuàng)建的子進(jìn)程數(shù)量不多時(shí)，可以直接利用multiprocessing中的Process動(dòng)態(tài)成生多個(gè)進(jìn)程，但如果是上百甚至上千個(gè)目標(biāo)，手動(dòng)的去創(chuàng)建進(jìn)程的工作量巨大，此時(shí)就可以用到multiprocessing模塊提供的Pool方法。

初始化Pool時(shí)，可以指定一個(gè)最大進(jìn)程數(shù)，當(dāng)有新的請求提交到Pool中時(shí)，如果池還沒有滿，那么就會(huì)創(chuàng)建一個(gè)新的進(jìn)程用來執(zhí)行該請求；但如果池中的進(jìn)程數(shù)已經(jīng)達(dá)到指定的最大值，那么該請求就會(huì)等待，直到池中有進(jìn)程結(jié)束，才會(huì)創(chuàng)建新的進(jìn)程來執(zhí)行，請看下面的實(shí)例：

右邊運(yùn)行結(jié)果

Pool.apply_async(要調(diào)用的目標(biāo),(傳遞給目標(biāo)的參數(shù)元祖,))

po.close()關(guān)閉進(jìn)程池，關(guān)閉后po不再接收新的請求

po.join()等待po中所有子進(jìn)程執(zhí)行完成，必須放在close語句之后

multiprocessing.Pool常用函數(shù)解析：

·apply_async(func[, args[, kwds]])：使用非阻塞方式調(diào)用func（并行執(zhí)行，堵塞方式必須等待上一個(gè)進(jìn)程退出才能執(zhí)行下一個(gè)進(jìn)程），args為傳遞給func的參數(shù)列表，kwds為傳遞給func的關(guān)鍵字參數(shù)列表；

·apply(func[, args[, kwds]])：使用阻塞方式調(diào)用func

·close()：關(guān)閉Pool，使其不再接受新的任務(wù)；

·terminate()：不管任務(wù)是否完成，立即終止；

·join()：主進(jìn)程阻塞，等待子進(jìn)程的退出， 必須在close或terminate之后使用；

1.1.1進(jìn)程間通信-Queue

Process之間肯定是需要通信的，操作系統(tǒng)提供了很多機(jī)制來實(shí)現(xiàn)進(jìn)程間的通信。Python的multiprocessing模塊包裝了底層的機(jī)制，提供了Queue、Pipes等多種方式來交換數(shù)據(jù)。

Queue的使用

可以使用multiprocessing模塊的Queue實(shí)現(xiàn)多進(jìn)程之間的數(shù)據(jù)傳遞，Queue本身是一個(gè)消息列隊(duì)程序，首先用一個(gè)小實(shí)例來演示一下Queue的工作原理：

說明

初始化Queue()對(duì)象時(shí)（例如：q=Queue()），若括號(hào)中沒有指定最大可接收的消息數(shù)量，或數(shù)量為負(fù)值，那么就代表可接受的消息數(shù)量沒有上限（直到內(nèi)存的盡頭）；

·Queue.qsize()：返回當(dāng)前隊(duì)列包含的消息數(shù)量；

·Queue.empty()：如果隊(duì)列為空，返回True，反之False；

·Queue.full()：如果隊(duì)列滿了，返回True,反之False；

·Queue.get([block[, timeout]])：獲取隊(duì)列中的一條消息，然后將其從列隊(duì)中移除，block默認(rèn)值為True；

1）如果block使用默認(rèn)值，且沒有設(shè)置timeout（單位秒），消息列隊(duì)如果為空，此時(shí)程序?qū)⒈蛔枞ㄍＴ谧x取狀態(tài)），直到從消息列隊(duì)讀到消息為止，如果設(shè)置了timeout，則會(huì)等待timeout秒，若還沒讀取到任何消息，則拋出"Queue.Empty"異常；

2）如果block值為False，消息列隊(duì)如果為空，則會(huì)立刻拋出"Queue.Empty"異常；

·Queue.get_nowait()：相當(dāng)Queue.get(False)；

·Queue.put(item,[block[, timeout]])：將item消息寫入隊(duì)列，block默認(rèn)值為True；

1）如果block使用默認(rèn)值，且沒有設(shè)置timeout（單位秒），消息列隊(duì)如果已經(jīng)沒有空間可寫入，此時(shí)程序?qū)⒈蛔枞ㄍＴ趯懭霠顟B(tài)），直到從消息列隊(duì)騰出空間為止，如果設(shè)置了timeout，則會(huì)等待timeout秒，若還沒空間，則拋出"Queue.Full"異常；

2）如果block值為False，消息列隊(duì)如果沒有空間可寫入，則會(huì)立刻拋出"Queue.Full"異常；

·Queue.put_nowait(item)：相當(dāng)Queue.put(item, False)；

Queue實(shí)例

注意參數(shù)的傳遞

我們以Queue為例，在父進(jìn)程中創(chuàng)建兩個(gè)子進(jìn)程，一個(gè)往Queue里寫數(shù)據(jù)，一個(gè)從Queue里讀數(shù)據(jù)：

進(jìn)程池中的Queue

Pool

如果要啟動(dòng)大量的子進(jìn)程，可以用進(jìn)程池的方式批量創(chuàng)建子進(jìn)程：

如果要使用Pool創(chuàng)建進(jìn)程，就需要使用multiprocessing.Manager()中的Queue()，而不是multiprocessing.Queue()，否則會(huì)得到一條如下的錯(cuò)誤信息：

RuntimeError: Queue objects should only be shared between processes through inheritance.