怎么在python中使用scrapy框架模擬登錄

本篇文章給大家分享的是有關怎么在python中使用scrapy框架模擬登錄，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

# -*- coding: utf-8 -*-
import scrapy
from scrapy import FormRequest,Request
class ExampleLoginSpider(scrapy.Spider):
  name = "login_"
  allowed_domains = ["example.webscraping.com"]
  start_urls = ['http://example.webscraping.com/user/profile']
  login_url = 'http://example.webscraping.com/places/default/user/login'
  def parse(self, response):
    print(response.text)
  def start_requests(self):
    yield scrapy.Request(self.login_url,callback=self.login)
  def login(self,response):
    formdata = {
      'email':'liushuo@webscraping.com','password':'12345678'}
    yield FormRequest.from_response(response,formdata=formdata,
                    callback=self.parse_login)
  def parse_login(self,response):
    # print('>>>>>>>>'+response.text)
    if 'Welcome Liu' in response.text:
      yield from super().start_requests()

有的同學可能問了，login方法里面不是應該寫reture 么，其實上面的寫法跟下面的這種寫法是一樣效果，如果再有個CSRF的話，也可以直接在login里面寫拿到CSRF信息，寫入到formdata里面跟用戶名和密碼一起提交。

復制代碼 代碼如下:

return [FormRequest.from_response(response,formdata=formdata,callback=self.parse_login)]

登錄成功

三、傳統登錄方法：

1、首先要明確一件事情，一般情況下需要登錄的網站，不只需要登錄用戶和密碼，接下來我們聊聊上面說的傳統登錄模式。用戶在登錄的時候并不是只需要登錄賬戶信息，除了常見直觀的驗證碼和CSRF信息外，也有可能需要提交其它信息，我們必須把它們都提取到一起提交給服務器。

2、我們在form表單下面找到了一個display:none的div標簽，里面的input標簽的value值正好是我們要提交的數據，那我們就提取到他。

以上就是怎么在python中使用scrapy框架模擬登錄，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。