源碼分享
https://docs.qq.com/sheet/DUHNQdlRUVUp5Vll2?tab=BB08J2
在開發(fā)Python爬蟲時(shí)，日志記錄是一個(gè)不可或缺的特性，它幫助我們捕捉運(yùn)行時(shí)信息、調(diào)試代碼和監(jiān)控爬蟲的健康狀況。合理地配置日志系統(tǒng)是提高爬蟲可維護(hù)性的關(guān)鍵。本篇技術(shù)博客將詳細(xì)介紹如何在Python爬蟲中配置日志系統(tǒng)，并提供詳細(xì)的代碼案例，幫助你構(gòu)建一個(gè)強(qiáng)大、靈活的日志環(huán)境。
日志配置概述
Python的logging模塊提供了一個(gè)靈活的日志系統(tǒng)，可以通過代碼或者配置文件來配置。使用編程方式配置日志比較靈活，可以在運(yùn)行時(shí)動(dòng)態(tài)修改配置；而配置文件方式則更加簡(jiǎn)潔明了，便于管理和維護(hù)。
編程方式配置日志
以下是一個(gè)通過代碼配置日志系統(tǒng)的例子，我們將配置一個(gè)將日志信息輸出到控制臺(tái)和文件的環(huán)境。
import logging
import logging.handlers
def setup_logger():
? ? # 創(chuàng)建Logger對(duì)象
? ? logger = logging.getLogger('spider')
? ? logger.setLevel(logging.DEBUG)? # 設(shè)置日志級(jí)別
? ? # 創(chuàng)建一個(gè)流處理器Handler，用于輸出到控制臺(tái)
? ? console_handler = logging.StreamHandler()
? ? console_handler.setLevel(logging.WARNING)? # 控制臺(tái)只輸出警告及以上級(jí)別的日志
? ? # 創(chuàng)建一個(gè)文件處理器Handler，用于輸出到文件
? ? file_handler = logging.handlers.RotatingFileHandler(
? ? ? ? 'spider.log', maxBytes=10*1024*1024, backupCount=5
? ? )
? ? file_handler.setLevel(logging.DEBUG)? # 文件記錄所有級(jí)別的日志
? ? # 定義日志格式
? ? formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
? ? console_handler.setFormatter(formatter)
? ? file_handler.setFormatter(formatter)
? ? # 將Handler添加到Logger
? ? logger.addHandler(console_handler)
? ? logger.addHandler(file_handler)
# 調(diào)用函數(shù)配置Logger
setup_logger()
# 獲取Logger
logger = logging.getLogger('spider')
logger.info('Info message')
logger.error('Error message')
配置文件方式配置日志
Python允許使用配置文件（通常是JSON或YAML格式）來配置日志系統(tǒng)。以下是一個(gè)使用JSON格式配置文件的例子。
首先，創(chuàng)建一個(gè)名為logging_config.json的配置文件：
{
? ? "version": 1,
? ? "disable_existing_loggers": false,
? ? "formatters": {
? ? ? ? "standard": {
? ? ? ? ? ? "format": "%(asctime)s - %(name)s - %(levelname)s - %(message)s"
? ? ? ? }
? ? },
? ? "handlers": {
? ? ? ? "console": {
? ? ? ? ? ? "class": "logging.StreamHandler",
? ? ? ? ? ? "level": "WARNING",
? ? ? ? ? ? "formatter": "standard",
? ? ? ? ? ? "stream": "ext://sys.stdout"
? ? ? ? },
? ? ? ? "file": {
? ? ? ? ? ? "class": "logging.handlers.RotatingFileHandler",
? ? ? ? ? ? "level": "DEBUG",
? ? ? ? ? ? "formatter": "standard",
? ? ? ? ? ? "filename": "spider.log",
? ? ? ? ? ? "maxBytes": 10485760,
? ? ? ? ? ? "backupCount": 5
? ? ? ? }
? ? },
? ? "loggers": {
? ? ? ? "spider": {
? ? ? ? ? ? "level": "DEBUG",
? ? ? ? ? ? "handlers": ["console", "file"],
? ? ? ? ? ? "propagate": false
? ? ? ? }
? ? },
? ? "root": {
? ? ? ? "level": "INFO",
? ? ? ? "handlers": ["console"]
? ? }
}
然后，加載JSON配置文件配置日志系統(tǒng)：
import logging.config
import json
def setup_logging():
? ? with open('logging_config.json', 'r') as f:
? ? ? ? config = json.load(f)
? ? ? ? logging.config.dictConfig(config)
# 調(diào)用函數(shù)配置Logger
setup_logging()
# 獲取Logger
logger = logging.getLogger('spider')
logger.debug('Debug message')
logger.critical('Critical message')
結(jié)語(yǔ)
正確配置日志對(duì)于爬蟲項(xiàng)目的成功至關(guān)重要，它不僅幫助開發(fā)者調(diào)試程序，而且在生產(chǎn)環(huán)境中監(jiān)控爬蟲活動(dòng)時(shí)發(fā)揮著關(guān)鍵作用。無論是通過編程方式還是配置文件，強(qiáng)大的Python logging模塊都能夠滿足我們的需求。通過合理的配置，可以確保日志信息的可靠記錄與有效管理，為爬蟲的穩(wěn)健運(yùn)行提供支持。希望本篇博客能幫助你建立一個(gè)結(jié)構(gòu)合理、易于管理的日志系統(tǒng)，讓你的爬蟲項(xiàng)目更加穩(wěn)固。
