要設置Scrapy的請求頭,可以在Spider類中使用"custom_settings"屬性來設置默認的請求頭信息。以下是一個示例代碼:
import scrapy
class MySpider(scrapy.Spider):
name = 'my_spider'
custom_settings = {
'DEFAULT_REQUEST_HEADERS': {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'Accept-Language': 'en',
}
}
def start_requests(self):
# start making requests
在上面的代碼中,我們使用了"custom_settings"屬性來設置默認的請求頭信息,包括User-Agent、Accept和Accept-Language等。這樣在Spider類中的請求會自動帶上這些請求頭信息。