中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

python中Scrapy框架如何安裝

發布時間:2021-11-25 15:19:35 來源:億速云 閱讀:184 作者:小新 欄目:大數據

這篇文章主要為大家展示了“python中Scrapy框架如何安裝”,內容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領大家一起研究并學習一下“python中Scrapy框架如何安裝”這篇文章吧。

Scrapy安裝

官網 https://scrapy.org/

安裝方式

在任意操作系統下,可以使用pip安裝Scrapy,例如:

$ pip install scrapy

為確認Scrapy已安裝成功,首先在Python中測試能否導入Scrapy模塊:

>>> import scrapy  
>>> scrapy.version_info
(1, 8, 0)

Python爬蟲、數據分析、網站開發等案例教程視頻免費在線觀看

https://space.bilibili.com/523606542

然后,在 shell 中測試能否執行 Scrapy 這條命令:

(base) λ scrapy 
Scrapy 1.8.0 - no active project 
Usage: 
  scrapy <command> [options] [args] 

Available commands: 
  bench Run quick benchmark test
  fetch Fetch a URL using the Scrapy downloader 
  genspider Generate new spider using pre-defined templates 
  runspider Run a self-contained spider (without creating a project) 
  settings Get settings values 
  shell Interactive scraping console 
  startproject Create new project version 
  Print Scrapy version 
  view Open URL in browser, as seen by Scrapy 

  [ more ] More commands available when run from project directory 

Use "scrapy <command> -h" to see more info about a command

通過了以上兩項檢測,說明Scrapy安裝成功了。如上所示,我們安裝的是當前最新版本1.8.0

注意:

  • 在安裝Scrapy的過程中可能會遇到缺少VC++等錯誤,可以安裝缺失模塊的離線包

  • 成功安裝后,在CMD下運行scrapy出現上圖不算真正成功,檢測真正是否成功使用 scrapy bench 測試,如果沒有提示錯誤,就代表成功安裝

具體Scrapy安裝流程參考: http://doc.scrapy.org/en/latest/intro/install.html##intro-install-platform-notes 里面有各個平臺的安裝方法

全局命令

$ scrapy 
Scrapy 1.7.3 - no active project 
Usage: 
  scrapy <command> [options] [args] 

Available commands: 
  bench Run quick benchmark test 
        ## 測試電腦性能。
  fetch Fetch a URL using the Scrapy downloader 
        ## 將源代碼下載下來并顯示出來
  genspider Generate new spider using pre-defined templates 
        ## 創建一個新的 spider 文件 
  runspider Run a self-contained spider (without creating a project) 
        ## 這個和通過crawl啟動爬蟲不同,scrapy runspider 爬蟲文件名稱 
  settings Get settings values 
        ## 獲取當前的配置信息 
  shell Interactive scraping console 
        ## 進入 scrapy 的交互模式 
  startproject Create new project 
        ## 創建爬蟲項目。 
  version Print Scrapy version 
  view Open URL in browser, as seen by Scrapy 
        ## 將網頁document內容下載下來,并且在瀏覽器顯示出來 

  [ more ] More commands available when run from project directory 

Use "scrapy <command> -h" to see more info about a command

項目命令

  • scrapy startproject projectname
    創建一個項目

  • scrapy genspider spidername domain
    創建爬蟲。創建好爬蟲項目以后,還需要創建爬蟲。

  • scrapy crawl spidername
    運行爬蟲。注意該命令運行時所在的目錄。

以上是“python中Scrapy框架如何安裝”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注億速云行業資訊頻道!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

乌鲁木齐市| 滁州市| 吴川市| 额济纳旗| 长宁区| 缙云县| 辽中县| 郓城县| 望都县| 屏山县| 东乡县| 神池县| 古丈县| 万源市| 松桃| 东乌珠穆沁旗| 永寿县| 二手房| 克山县| 玉林市| 铜川市| 松桃| 高台县| 民乐县| 唐山市| 大关县| 铅山县| 四平市| 邯郸市| 洪江市| 乌审旗| 山阳县| 吉安市| 赞皇县| 宜城市| 桦川县| 元阳县| 乐平市| 综艺| 五大连池市| 大港区|