循環(huán)sleep
這種方式最簡單,在循環(huán)里面放入要執(zhí)行的任務,然后sleep一段時間再執(zhí)行
from datetime import datetime
import time
# 每n秒執(zhí)行一次
def timer(n):
while True:
print(datetime.now().strftime("%Y-%m-%d %H:%M:%S"))
time.sleep(n)
timer(5)
這個方法的缺點是,只能執(zhí)行固定間隔時間的任務,如果有定時任務就無法完成,比如固定每天上午6點鐘執(zhí)行,并且sleep是一個阻塞函數,也就是說sleep著段時間,什么都不能做。
theading模塊中的timer
threading 模塊中的Timer 是一個非阻塞函數,比sleep好一點,不過依然無法固定時間執(zhí)行。
from datetime import datetime
from threading import Timer
# 打印時間函數
def prinTime(inc):
print(datetime.now().strftime("%Y-%m-%d %H:%M:%S"))
t = Timer(inc, printTime,(inc,))
t.start()
printTime(2)
使用sched模塊
sched 模塊是Python內置模塊,它是一個調度(延時處理機制),每次想要定時執(zhí)行任務都必須寫入一個調度。
import sched
import time
from datetime import datetime
# 初始化sched模塊的scheduler類
# 第一個參數是一個可以返回時間戳的函數,第二參數可以在定時未到達之前阻塞
schdule = sched.scheduler(time.time, time.sleep)
# 被周期性調度觸發(fā)函數
def printTime(inc):
print(datetime.now().strftime("%Y-%m-%d %H:%M:%S"))
schedule.enter(inc, 0, printTime, (inc,))
# 默認參數60s
def main(inc=60):
# enter四個參數分別為:間隔事件,優(yōu)先級(用于同時到達兩個事件同時執(zhí)行的順序),被調度觸發(fā)的函數
# 給該觸發(fā)器函數的參數(tuple形式)
schedule.enter(0, 0, pirntTime, (inc,))
schedule.run()
# 5秒輸出一次
main(5)
sched使用步驟如下:
(1)生成調度器:
s = sched.scheduluer(time.time, time.sleep)
第一個參數是一個可以返回時間戳的函數,第二個參數可以在定時未到達之前阻塞。
(2)加入調度事件
其實有 enter、enterabs 等等,我們以 enter 為例子。
s.enter(x1,x2,x3,x4)
四個參數分別為:間隔事件、優(yōu)先級(用于同時間到達的兩個事件同時執(zhí)行時定序)、被調用觸發(fā)的函數,給觸發(fā)函數的參數(注意:一定要以 tuple 給,如果只有一個參數就(xx,))
(3)運行
s.run()
注意 sched 模塊不是循環(huán)的,一次調度被執(zhí)行后就 Over 了,如果想再執(zhí)行,請再次 enter(循環(huán)調用)
APScheduler定時框架
APScheduler是一個Python定時任務框架,使用起來十分方便。提供了基于日期,固定時間間隔及crontab類型的任務,并且可以持久化任務,并以daemon方式運行應用。
使用APScheduler需要安裝
pip install apscheduler
首先看看周一到周五定時執(zhí)行任務
from apscheduler.schedulers.blocking import BlockingScheduler
from datetime import datetime
# 輸出時間
def job():
print(datetime.now().strtime("%Y-%m-%d %H:%M:%S"))
# BlockingScheduler
scheduler = BlockingScheduler()
scheduler.add_job(job, "cron", day_of_week="1-5", hour=6, minute=30)
schduler.start()
BlockingScheduler是APScheduler中的調度器,APScheduler中有兩種常用的調度器,
BlockingScheduler和BackgroundScheduler,當調度器是應用中唯一要運行的定時任務時,使用BlockingScheduler,如果希望調度器在后臺執(zhí)行,使用BackgroundScheduler.
APScheduler四個組件
APScheduler 四個組件分別為:觸發(fā)器(trigger),作業(yè)存儲(job store),執(zhí)行器(executor),調度器(scheduler)。
觸發(fā)器(trigger)
包含調度邏輯,每一個作業(yè)有它自己的觸發(fā)器,用于決定接下來哪一個作業(yè)會運行。除了他們自己初始配置意外,觸發(fā)器完全是無狀態(tài)的
APScheduler 有三種內建的 trigger:
date: 特定的時間點觸發(fā)
interval: 固定時間間隔觸發(fā)
cron: 在特定時間周期性地觸發(fā)
作業(yè)儲存(job store)
存儲被調度的作業(yè),默認的作業(yè)存儲是簡單地把作業(yè)保存在內存中,其他的作業(yè)存儲是將作業(yè)保存在數據庫中。一個作業(yè)的數據保存在持久化作業(yè)存儲時被序列化,并在加載時被反序列化。調度器不能分享同一個作業(yè)存儲。
APScheduler 默認使用 MemoryJobStore,可以修改使用 db 存儲方案
執(zhí)行器(executor)
處理作業(yè)的運行,他們通常通過在作業(yè)中提交制定的可調用對象到一個線程或者進城池來進行。當作業(yè)完成時,執(zhí)行器將會通知調度器。
最常用的 executor 有兩種:
ProcessPoolExecutor
ThreadPoolExecutor
調度器(scheduler)
通常在應用中只有一個調度器,應用的開發(fā)者通常不會直接處理作業(yè)存儲、調度器和觸發(fā)器,相反,調度器提供了處理這些的合適的接口。配置作業(yè)存儲和執(zhí)行器可以在調度器中完成,例如添加、修改和移除作業(yè)。
配置調度器
APScheduler提供了許多不同的方式來配置調度器,你可以使用一個配置字典或者作為參數關鍵字的方式傳入。你也可以先創(chuàng)建調度器,再配置和添加作業(yè),這樣你可以在不同的環(huán)境中得到更大的靈活性。
下面來看一個簡單的 BlockingScheduler 例子
from apscheduler.schedulers.blocking import BlockingScheduler
from datetime import datetime
def job():
print(datetime.now().strftime("%Y-%m-%d %H:%M:%S"))
# 定義BlockingScheduler
sched = BlockingScheduler()
sched.add_job(job, 'interval', seconds=5)
sched.start()
上述代碼創(chuàng)建了一個 BlockingScheduler,并使用默認內存存儲和默認執(zhí)行器。(默認選項分別是 MemoryJobStore 和 ThreadPoolExecutor,其中線程池的最大線程數為10)。配置完成后使用 start() 方法來啟動。
如果想要顯式設置 job store(使用mongo存儲)和 executor 可以這樣寫:
from datetime import datetime
from pymongo import MongoClient
from apscheduler.schedulers.blocking import BlockingScheduler
from apscheduler.jobstores.memory import MemoryJobStore
from apscheduler.jobstores.mongodb import MongoDBJobStore
from apscheduler.executors.pool import ThreadPoolExecutor, ProcessPoolExecutor
# MongoDB 參數
host = '127.0.0.1'
port = 27017
client = MongoClient(host, port)
# 輸出時間
def job():
print(datetime.now().strftime("%Y-%m-%d %H:%M:%S"))
# 存儲方式
jobstores = {
'mongo': MongoDBJobStore(collection='job', database='test', client=client),
'default': MemoryJobStore()
}
executors = {
'default': ThreadPoolExecutor(10),
'processpool': ProcessPoolExecutor(3)
}
job_defaults = {
'coalesce': False,
'max_instances': 3
}
scheduler = BlockingScheduler(jobstores=jobstores, executors=executors, job_defaults=job_defaults)
scheduler.add_job(job, 'interval', seconds=5, jobstore='mongo')
scheduler.start()
對job的操作
添加jop
添加job有兩種方式:
(1)add_job()
(2)scheduled_job()
第二種方法只適用于應用運行期間不會改變的 job,而第一種方法返回一個apscheduler.job.Job 的實例,可以用來改變或者移除 job。
from apscheduler.schedulers.blocking import BlockingScheduler
sched = BlockingScheduler()
# 裝飾器
@sched.scheduled_job('interval', id='my_job_id', seconds=5)
def job_function():
print("Hello World")
# 開始
sched.start()
移除job
移除job有兩種方法:
1,remove_job()
2,job.remove()
remove_job使用jobID移除
job.remover() 使用add_job()返回實例
job = scheduler.add_job(myfunc, 'interval', minutes=2)
job.remove()
# id
scheduler.add_job(myfunc, 'interval', minutes=2, id='my_job_id')
scheduler.remove_job('my_job_id')
暫停和恢復job
暫停一個jod
apscheduler.job.Job.pause()
apscheduler.schedulers.base.BaseScheduler.pause_job()
apscheduler.job.Job 是 add_job() 返回的實例
獲取job列表
獲得可調度 job 列表,可以使用get_jobs() 來完成,它會返回所有的 job 實例。
也可以使用print_jobs() 來輸出所有格式化的 job 列表。
修改job
除了 jobID 之外 job 的所有屬性都可以修改,使用 apscheduler.job.Job.modify() 或者 modify_job() 修改一個 job 的屬性
job.modify(max_instances=6, name='Alternate name')
modify_job('my_job_id', trigger='cron', minute='*/5')
關閉job
默認情況下調度器會等待所有的 job 完成后,關閉所有的調度器和作業(yè)存儲。將 wait 選項設置為 False 可以立即關閉。
scheduler.shutdown()
scheduler.shutdown(wait=False)
scheduler事件
scheduler 可以添加事件監(jiān)聽器,并在特殊的時間觸發(fā)。
def my_listener(event):
if event.exception:
print('The job crashed :(')
else:
print('The job worked :)')
# 添加監(jiān)聽器
scheduler.add_listener(my_listener, EVENT_JOB_EXECUTED | EVENT_JOB_ERROR)