Scrapy中怎么利用selenium爬取淘寶

今天就跟大家聊聊有關Scrapy中怎么利用selenium爬取淘寶，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結了以下內容，希望大家根據這篇文章可以有所收獲。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
from scrapy.http.response.html import HtmlResponse
from scrapy.http.response.text import TextResponse
from selenium.webdriver import ActionChains
 
class TaobaoMiddleware(object):
 
 #處理請求函數
 def process_request(self,request,spider):
  #聲明一個Options對象
  opt = Options()
  #給對象添加一個--headless參數,表示無頭啟動
  opt.add_argument('--headless')
  #把配置參數應用到驅動創建的對象
  driver = webdriver.Chrome(options=opt)
  #打開requests中的地址
  driver.get(request.url)
 
  #讓瀏覽器滾動到底部
  for x in range(1,11):
   j = x / 10
   js = "document.documentElement.scrollTop = document.documentElement.scrollHeight*%f"%j
   driver.execute_script(js)
   #每次滾動等待0.5s
   time.sleep(5)
 
  #獲取下一頁按鈕的標簽
  next_btn =driver.find_element_by_xpath('//span[contains(text(),"下一頁")]')
  #睡眠0.5秒
  time.sleep(0.5)
  #對下一頁標簽進行鼠標右鍵觸發事件
  ActionChains(driver).context_click(next_btn).click().perform()
  # driver.save_screenshot('截圖.png')
  #把驅動對象獲得的源碼賦值給新變量
  page_source = driver.page_source
  #退出
  driver.quit()
 
  #根據網頁源代碼,創建Htmlresponse對象
  response = HtmlResponse(url=request.url,body=page_source,encoding='utf-8',request=request)
  #因為返回的是文本消息,所以需要指定字符編碼格式
 
  return response
 
 def process_response(self,request,response,spider):
 
  return response
 
 def process_exception(self,request,exception,spider):
  pass

看完上述內容，你們對Scrapy中怎么利用selenium爬取淘寶有進一步的了解嗎？如果還想了解更多知識或者相關內容，請關注億速云行業資訊頻道，感謝大家的支持。