Scrapy是一個用Python編寫的開源網絡爬蟲框架，常見的網頁抓取技術包括：
XPath：XPath是一種用來定位XML文檔中節點的語言，也可以用來在HTML文檔中定位元素。Scrapy中可以使用XPath表達式來選擇和提取網頁中的特定元素。
CSS選擇器：除了XPath之外，Scrapy還支持使用CSS選擇器來定位網頁元素。可以通過指定CSS選擇器來提取網頁中的數據。
正則表達式：在某些情況下，可以使用正則表達式來匹配和提取網頁中的數據。Scrapy也支持使用正則表達式來處理網頁內容。
中間件：Scrapy還支持自定義中間件，可以在爬蟲發送請求和接收響應之前對請求和響應進行預處理和后處理，以實現一些定制化的功能。
異步處理：Scrapy支持異步處理機制，可以利用異步框架（如Twisted）來提高爬蟲的效率。
下載器中間件：可以通過編寫下載器中間件來自定義下載器的行為，比如修改請求頭、處理重定向等。
總的來說，Scrapy提供了豐富的功能和靈活的接口，可以根據需求選擇合適的技術來進行網頁抓取。
