Scrapy提供了一個內置的緩存系統，可以在下載數據之后將其保存在本地文件系統中。這樣可以避免重復下載相同的數據，節省帶寬和時間。以下是如何使用Scrapy進行數據緩存的步驟：
# 啟用緩存
HTTPCACHE_ENABLED = True
# 緩存路徑
HTTPCACHE_DIR = 'httpcache'
# 緩存過期時間（秒）
HTTPCACHE_EXPIRATION_SECS = 0
class MySpider(scrapy.Spider):
name = 'myspider'
start_urls = ['http://example.com']
def parse(self, response):
# 在parse方法中調用緩存
for item in response.css('div.item'):
yield {
'title': item.css('a::text').get(),
'link': item.css('a::attr(href)').get()
}
scrapy crawl myspider -s HTTPCACHE_ENABLED=True
scrapy crawl myspider -s HTTPCACHE_EXPIRATION_SECS=3600
scrapy crawl myspider --delete
通過以上步驟，您可以使用Scrapy進行數據緩存，提高爬取效率并節省資源。
