怎么使用python的scrapy模擬登錄

這篇文章主要介紹“怎么使用python的scrapy模擬登錄”的相關知識，小編通過實際案例向大家展示操作過程，操作方法簡單快捷，實用性強，希望這篇“怎么使用python的scrapy模擬登錄”文章能幫助大家解決問題。

1、requests模塊。直接攜帶cookies請求頁面。

找到url，發送post請求存儲cookie。

2、selenium(瀏覽器自動處理cookie)。

找到相應的input標簽，輸入文本，點擊登錄。

3、scrapy直接帶cookies。

找到url，發送post請求存儲cookie。

# -*- coding: utf-8 -*-
import scrapy
import re
 
class GithubLoginSpider(scrapy.Spider):
    name = 'github_login'
    allowed_domains = ['github.com']
    start_urls = ['https://github.com/login']
 
    def parse(self, response): # 發送Post請求獲取Cookies
        authenticity_token = response.xpath('//input[@name="authenticity_token"]/@value').extract_first()
        utf8 = response.xpath('//input[@name="utf8"]/@value').extract_first()
        commit = response.xpath('//input[@name="commit"]/@value').extract_first()
        form_data = {
            'login': 'pengjunlee@163.com',
            'password': '123456',
            'webauthn-support': 'supported',
            'authenticity_token': authenticity_token,
            'utf8': utf8,
            'commit': commit}
        yield scrapy.FormRequest("https://github.com/session", formdata=form_data, callback=self.after_login)
 
    def after_login(self, response): # 驗證是否請求成功
        print(re.findall('Learn Git and GitHub without any code!', response.body.decode()))

關于“怎么使用python的scrapy模擬登錄”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識，可以關注億速云行業資訊頻道，小編每天都會為大家更新不同的知識點。