06. 多線程之全局解釋器鎖(GIL)

  1. GIL的全稱是Global Interpreter Lock(全局解釋器鎖).只是cpython解釋器導致與python語言無關(guān),用別的解釋器無此問題;
  2. 在python中,無論有多少核,同時只能執(zhí)行一個線程。究其原因,這就是由于GIL的存在導致的。
  3. cpython解釋器為了數(shù)據(jù)安全所做的決定。某個線程想要執(zhí)行,必須先拿到GIL,我們可以把GIL看作是“通行證”,并且在一個python進程中,GIL只有一個。拿不到通行證的線程,就不允許進入CPU執(zhí)行。
  4. Python多線程的工作過程:
  • 拿到公共數(shù)據(jù)
  • 申請GIL
  • python解釋器調(diào)用os原生線程
  • os操作cpu執(zhí)行運算
  • 當該線程執(zhí)行時間到后,無論運算是否已經(jīng)執(zhí)行完,gil都被要求釋放
  • 進而由其他進程重復上面的過程
  • 等其他進程執(zhí)行完后,又會切換到之前的線程(從他記錄的上下文繼續(xù)執(zhí)行),整個過程是每個線程執(zhí)行自己的運算,當執(zhí)行時間到就進行切換(context switch)。
  1. python針對不同類型的代碼執(zhí)行效率也是不同的:
  • CPU密集型代碼(各種循環(huán)處理、計算等等),在這種情況下,由于計算工作多,ticks計數(shù)很快就會達到閾值,然后觸發(fā)GIL的釋放與再競爭(多個線程來回切換當然是需要消耗資源的),所以python下的多線程對CPU密集型代碼并不友好??梢允褂枚噙M程。
  • IO密集型代碼(文件處理、網(wǎng)絡爬蟲等涉及文件讀寫的操作),多線程能夠有效提升效率(單線程下有IO操作會進行IO等待,造成不必要的時間浪費,而開啟多線程能在線程A等待時,自動切換到線程B,可以不浪費CPU的資源,從而能提升程序執(zhí)行效率)。所以python的多線程對IO密集型代碼比較友好。
  • python下想要充分利用多核CPU,就用多進程。因為每個進程有各自獨立的GIL,互不干擾,這樣就可以真正意義上的并行執(zhí)行,在python中,多進程的執(zhí)行效率優(yōu)于多線程(僅僅針對多核CPU而言)。
  1. GIL在python中的版本差異:
  • 在python2.x里,GIL的釋放邏輯是當前線程遇見IO操作或者ticks計數(shù)達到100時進行釋放。(ticks可以看作是python自身的一個計數(shù)器,專門做用于GIL,每次釋放后歸零,這個計數(shù)可以通過sys.setcheckinterval 來調(diào)整)。而每次釋放GIL鎖,線程進行鎖競爭、切換線程,會消耗資源。并且由于GIL鎖存在,python里一個進程永遠只能同時執(zhí)行一個線程(拿到GIL的線程才能執(zhí)行),這就是為什么在多核CPU上,python的多線程效率并不高。
  • 在python3.x中,GIL不使用ticks計數(shù),改為使用計時器(執(zhí)行時間達到閾值后,當前線程釋放GIL),這樣對CPU密集型程序更加友好,但依然沒有解決GIL導致的同一時間只能執(zhí)行一個線程的問題,所以效率依然不盡如人意。
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

友情鏈接更多精彩內(nèi)容