多線程編程知識點記錄:
1、單線程函數(shù)如何轉(zhuǎn)換為多線程
1)線程函數(shù)調(diào)用
import threading
import time
from threading import current_thread
def myThread(arg1, arg2):
print(current_thread().getName(),'start')
print('%s %s'%(arg1, arg2))
time.sleep(1)
print(current_thread().getName(),'stop')
for i in range(1,6,1):
# t1 = myThread(i, i+1)
t1 = threading.Thread(target=myThread,args=(i, i+1))#多線程分配
t1.start()
print(current_thread().getName(),'end')
2)線程類調(diào)用
import threading
from threading import current_thread
class Mythread(threading.Thread):
def run(self):
print(current_thread().getName(),'start')
print('run')
print(current_thread().getName(),'stop')
for i in range(1,6,1):
t1 = Mythread()
t1.start()
t1.join()
print(current_thread().getName(),'end')
問題解答1:老師,我想不明白你重寫這個run方法之后為什么這個線程還能夠執(zhí)行,之前是start函數(shù)調(diào)用原來這個run方法,你現(xiàn)在將它重寫啦,重寫不是覆蓋前面父類的方法嗎,您重寫的run方法只是打印而已,怎么會執(zhí)行呢?
答:Thread是threading模塊的一個用于創(chuàng)建線程的類,創(chuàng)建線程有兩個方法,一個是通過繼承Thread類,重寫run方法;我在視頻中演示的Mythread類就是這種方法了,要注意覆蓋的是父類繼承過來的run方法,start還是繼承過來不變的。這里要注意的是start()和run() 是Thread的兩種不同方法,官方定義在這里:https://docs.python.org/3.7/library/threading.html那么把他們的解釋翻譯成中文就是 start() 開始線程工作,把run()方法放到一個另外的單獨的線程里執(zhí)行 ;run() 線程工作方法,在“當成”線程執(zhí)行函數(shù)里面的代碼。所以他們的作用一個是開啟新線程,一個是按照線程的方式執(zhí)行程序。我們可以寫個小程序來驗證一下:
import threading
from threading import current_thread
class Mythread(threading.Thread):
def run(self):
print(current_thread().getName())
t1 = Mythread()
t1.run()
t1.start()
這段程序的執(zhí)行結(jié)果是:
MainThread
Thread-1
也就是說單獨運行run()方法,會把主進程當做一個線程來看,執(zhí)行的代碼空間在MainThread主線程中,執(zhí)行了start()方法,python會新創(chuàng)建一個線程,叫Thread-1,然后再去調(diào)用run()來運行,這就是他們兩個的區(qū)別了。
問題解答2:多線程不能無限多吧,應該是看計算機的硬件性能。那么如何確定可以使用的最多線程?
答:最多線程由兩方面決定:內(nèi)存容量和軟件限制。雖然線程是輕量級進程,但是創(chuàng)建線程也是要消耗內(nèi)存的,初始狀態(tài)下消耗大小就是內(nèi)存棧了,每創(chuàng)建一個線程為其分配一個線程棧,還有一種限制是系統(tǒng)的配置參數(shù)限制,比如在linux上 每進程默認創(chuàng)建線程是1024個,在local_lim.h中定義,可以使用ulimt -a查看線程棧大小。
2、生產(chǎn)者和消費者程序事例
from threading import Thread,current_thread
import time
import random
from queue import Queue
queue = Queue(5)
class ProducerThread(Thread):
def run(self):
name = current_thread().getName()
nums = range(100)
global queue
while True:
num = random.choice(nums)
queue.put(num)
print('生產(chǎn)者 %s 生產(chǎn)了數(shù)據(jù) %s' %(name, num))
t = random.randint(1,3)
time.sleep(t)
print('生產(chǎn)者 %s 睡眠了 %s 秒' %(name, t))
class ConsumerTheard(Thread):
def run(self):
name = current_thread().getName()
global queue
while True:
num = queue.get()
queue.task_done()
print('消費者 %s 消耗了數(shù)據(jù) %s' %(name, num))
t = random.randint(1,5)
time.sleep(t)
print('消費者 %s 睡眠了 %s 秒' % (name, t))
p1 = ProducerThread(name = 'p1')
p1.start()
p2 = ProducerThread(name = 'p2')
p2.start()
p3 = ProducerThread(name = 'p3')
p3.start()
c1 = ConsumerTheard(name = 'c1')
c1.start()
c2 = ConsumerTheard(name = 'c2')
c2.start()
問題解答:消費者的task_done()還是不清楚用來干什么?
答:task_done()是配合join()使用的,join() 會讓隊列一直處于阻塞狀態(tài),直到queue里面所有的message都被get()取出來調(diào)用了task_done()才能返回,不用這個函數(shù)會讓join()出現(xiàn)無限掛起的問題,不符合我們寫程序的預期。它和join()一起使用來判斷隊列里是否還有message需要處理的一種機制,如果看它的代碼實現(xiàn),會發(fā)現(xiàn)它通過信號與join()進行配合的。
或許在初學階段,大家更容易理解這種用法
while not workQueue.empty():
pass
就是一直循環(huán),直到隊列為空。
兩種機制都可以判斷為隊列是否為空,看你需要那種方法和想要在哪種場景下使用。