TaylorWu的博客
Tornado的性能改善(一)：線程池的使用
編輯于:2016-07-18
導(dǎo)語
Tornado是一款優(yōu)秀的開源Web框架，其簡單易用，性能卓越等特性受到開發(fā)者的青睞。但是由于Tornado的單線程結(jié)構(gòu)，假如執(zhí)行耗時任務(wù)，此時線程則會阻塞，無法響應(yīng)其他請求。下面就我對Tornado使用的經(jīng)驗，對其性能作出改善。
一. 線程池提高并發(fā)處理量
1. 使用Tornado自帶的concurrent的語法糖run_on_executor。
2. 使用Python自帶的concurrent的ThreadPoolExecutor線程池庫。
代碼區(qū)間
from tornado.concurrent import run_on_executor
from concurrent.futures import ThreadPoolExecutor
import time
class Test():
executor = ThreadPoolExecutor(10)? ? ? #set up a threadpool
@run_on_executor
def longTimeTask():
print "go to sleep"
time.sleep(20)? ? ? #go to sleep
print "wake up"
if __name__ == "__main__":
test = Test()
test.longTimeTask()
print "print very soon"
上述例子當(dāng)中，executor為初始化的線程池對象，而Test類中的longTimeTask被語法糖run_on_executor包裹，將該函數(shù)的執(zhí)行傳遞給線程池executor的線程執(zhí)行，優(yōu)化了處理耗時性任務(wù)，以致達(dá)到不阻塞主線程的效果。
其實，上述的采用線程池優(yōu)化并不是最優(yōu)方案。耗時任務(wù)，通常涉及IO，其中常見的操作即是寫日志，寫數(shù)據(jù)庫等數(shù)據(jù)持久化操作。此時我們更可以采取分布式任務(wù)隊列的方式來進行優(yōu)化。常見的有Celery + RabbitMq + Redis方案構(gòu)建分布式任務(wù)隊列系統(tǒng)。
