怎么在python中使用scrapy框架處理多頁數據

怎么在python中使用scrapy框架處理多頁數據？相信很多沒有經驗的人對此束手無策，為此本文總結了問題出現的原因和解決方法，通過這篇文章希望你能解決這個問題。

python的五大特點是什么

python的五大特點：1.簡單易學，開發程序時，專注的是解決問題,而不是搞明白語言本身。2.面向對象，與其他主要的語言如C++和Java相比, Python以一種非常強大又簡單的方式實現面向對象編程。3.可移植性，Python程序無需修改就可以在各種平臺上運行。4.解釋性，Python語言寫的程序不需要編譯成二進制代碼,可以直接從源代碼運行程序。5.開源，Python是 FLOSS(自由/開放源碼軟件)之一。

方法一：將每一頁對應的url存放到爬蟲文件的start_urls

問題：如果頁數較多時，列表就會變得很大。

方法二：使用Request方法手動發起請求（推薦使用）

案例：爬取古詩文網每一頁的古詩的標題

1、爬取所有頁碼數據

import scrapy

class GushiSpider(scrapy.Spider):
    name = 'gushi'
    start_urls = ['https://www.gushiwen.org/']

    pageNum = 2 #pageNum為2，第一頁已經爬取過了 
    url = 'https://www.gushiwen.cn/default_%d.aspx' #每頁的url是類似的
    
    def parse(self, response):
        div_list = response.xpath('//div[@class="sons"]/div[1]/p[1]')
        print(str(len(div_list))+"首古詩")
        for div in div_list:
            title = div.xpath('./a/b/text()').extract()
            print(title)
        print("------------------------")

        # 爬取所有頁碼數據    
        if self.pageNum <= 10: #一共爬取10頁（共10頁）
            self.pageNum += 1
            url = format(self.url % self.pageNum)   # 每一頁的url和pageNum有關

2、使用Request方法向頁面手動發起請求

         # 手動發起請求: scrapy.Request(url,callback,meta)
            ## url是需要發起請求的url,
            ## callback參數的值是回調函數，即發起請求后需要調用哪一個方法
            ## meta參數的值是一個 字典，表示的是向回調函數傳遞什么樣的參數

3、向上面格式化的url發起請求，callback遞歸調用parse()方法，將得到的數據繼續進行解析

 yield scrapy.Request(url=url,callback=self.parse)

看完上述內容，你們掌握怎么在python中使用scrapy框架處理多頁數據的方法了嗎？如果還想學到更多技能或想了解更多相關內容，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！