Scrapy相關(guān)

輸出日志文件,Settings配置:

LOG_FILE = 'DEBUG_%s.txt' % (datetime.now().strftime('%Y%m%d_%H%M_%S'))

定時(shí)任務(wù)調(diào)度:

# -*- coding: utf-8 -*- 
# @Description  : 調(diào)度程序,每天執(zhí)行一次

import os
import datetime
from apscheduler.schedulers.blocking import BlockingScheduler


def job_yingyongbao():
    print('Start job yingyongbao ', datetime.datetime.now())
    os.system('scrapy crawl yingyongbao_spider')


def job_wandoujia():
    print('Start job wandoujia ', datetime.datetime.now())
    os.system('scrapy crawl wandoujia_spider')


if __name__ == '__main__':
    scheduler = BlockingScheduler()

    job1_time = datetime.datetime.now() + datetime.timedelta(seconds=5)
    job2_time = job1_time + datetime.timedelta(seconds=10)
    scheduler.add_job(job_yingyongbao, 'interval', start_date=job1_time, hours=24)
    scheduler.add_job(job_wandoujia, 'interval', start_date=job2_time, hours=24)

    scheduler.start()

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • Author:杜七 Date:2017.02.17 0 | 安裝 Mac安裝scrapy碰到問(wèn)題解決方法 1 | ...
    杜七閱讀 513評(píng)論 0 0
  • 示例:architecture_spider Scrapy 相關(guān) 參考scrapy文檔,scrapyd文檔 scr...
    顧慎為閱讀 504評(píng)論 0 1
  • Spring Cloud為開(kāi)發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見(jiàn)模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn),斷路器,智...
    卡卡羅2017閱讀 136,506評(píng)論 19 139
  • 學(xué)習(xí)資料 書(shū)籍: Python爬蟲(chóng)開(kāi)發(fā)與項(xiàng)目實(shí)戰(zhàn)該書(shū)作者博客:http://www.itdecent.cn/u/c...
    石野小真人閱讀 399評(píng)論 0 0
  • 今天是世界讀書(shū)日,上兒童禮儀課程時(shí),紀(jì)亞飛老師說(shuō),要讓我們每人都養(yǎng)成一個(gè)好習(xí)慣,21天做到一件事。我寫(xiě)的是要每天閱...
    安靜_205b閱讀 1,388評(píng)論 0 0

友情鏈接更多精彩內(nèi)容