在Python中,你可以使用內置的logging
模塊來為爬蟲庫進行日志記錄。以下是一個簡單的示例,展示了如何配置和使用logging
模塊:
logging
模塊并為其配置基本設置:import logging
# 配置日志級別
logging.basicConfig(level=logging.INFO)
# 創建一個日志處理器,這里我們使用StreamHandler將日志輸出到控制臺
handler = logging.StreamHandler()
# 為處理器設置格式,包括日期、時間、日志級別和消息
formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)
# 將處理器添加到根日志記錄器
logging.getLogger().addHandler(handler)
logging
模塊記錄日志:def start_crawl():
logging.info("開始爬取數據")
# 你的爬蟲代碼
logging.info("爬取完成")
def parse_page(url):
logging.info(f"解析頁面: {url}")
# 你的解析代碼
logging.info(f"解析完成: {url}")
start_crawl()
parse_page("https://example.com")
這樣,你就可以在控制臺看到你的爬蟲庫記錄的日志信息了。你可以根據需要調整日志級別、格式和處理程序,以便更好地滿足你的需求。