如何理解Python中Scrapy框架結構

如何理解Python中Scrapy框架結構，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

scrapy 為什么是框架而不是庫？

scrapy 是如何工作的？

項目結構

在開始爬取之前，必須創建一個新的 Scrapy 項目。 進入您打算存儲代碼的目錄中，運行下列命令:

注意：創建項目時，會在當前目錄下新建爬蟲項目的目錄。

這些文件分別是:

• scrapy.cfg : 項目的配置文件

• quotes/ : 該項目的python模塊。之后您將在此加入代碼。 quotes/items.py : 項目中的item文件.

• quotes/middlewares.py : 爬蟲中間件、下載中間件（處理請求體與響應體）

• quotes/pipelines.py : 項目中的pipelines文件. quotes/settings.py : 項目的設置文件

• quotes/spiders/ : 放置spider代碼的目錄.

Scrapy原理圖

各個組件的介紹

1. Engine。引擎,處理整個系統的數據流處理、觸發事務,是整個框架的核心。

2. Item。項目,它定義了爬取結果的數據結構,爬取的數據會被賦值成該Item對象。

3. Scheduler。調度器,接受引擎發過來的請求并將其加入隊列中,在引擎再次請求的時候將請求提供給引擎。

4. Downloader。下載器,下載網頁內容,并將網頁內容返回給蜘蛛。

5. Spiders。 蜘蛛,其內定義了爬取的邏輯和網頁的解析規則,它主要負責解析響應并生成提結果和新的請求。

6. Item Pipeline。項目管道,負責處理由蜘蛛從網頁中抽取的項目,它的主要任務是清洗、驗證和存儲數據。

7. Downloader Middlewares。下載器中間件,位于引擎和下載器之間的鉤子框架,主要處理引擎與下載器之間的請求及響應。

8. Spider Middlewares。 蜘蛛中間件,位于引擎和蜘蛛之間的鉤子框架,主要處理蜘蛛輸入的響應和輸出的結果及新的請求

數據的流動

• Scrapy Engine(引擎): 負責Spider、ItemPipeline、Downloader、Scheduler中間的通訊，信號、數據傳遞等。

• Scheduler(調度器): 負責接受引擎發送過來的Request請求，并按照一定的方式進行整理排列，入隊，當引擎需要
  時，交還給引擎。

• Downloader(下載器)：負責下載Scrapy Engine(引擎)發送的所有Requests請求，并將其獲取到的Responses交還給Scrapy Engine(引擎)，由引擎交給Spider來處理

• Spider（爬蟲）：負責處理所有Responses,從中分析提取數據，獲取Item字段需要的數據，并將需要跟進的URL提交給引擎，再次進入Scheduler(調度器)

• Item Pipeline(管道)：負責處理Spider中獲取到的Item，并進行進行后期處理（詳細分析、過濾、存儲等）的地方.

• Downloader Middlewares(下載中間件)：你可以當作是一個可以自定義擴展下載功能的組件。

• Spider Middlewares(Spider中間件)：你可以理解為是一個可以自定擴展和操作引擎和Spider中間通信的功能組件（比如進入Spider的Responses;和從Spider出去的Requests）

關于如何理解Python中Scrapy框架結構問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業資訊頻道了解更多相關知識。