如何在Windows中安裝Scrapy模塊

如何在Windows中安裝Scrapy模塊？針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

Scrapy簡介

Scrapy，Python開發的一個快速、高層次的屏幕抓取和web抓取框架，用于抓取web站點并從頁面中提取結構化的數據。

Scrapy用途廣泛，可以用于數據挖掘、監測和自動化測試。

Scrapy吸引人的地方在于它是一個框架，任何人都可以根據需求方便的修改。它也提供了多種類型爬蟲的基類，如BaseSpider、sitemap爬蟲等，最新版本又提供了web2.0爬蟲的支持。

安裝依賴

• Scrapy安裝依賴于以下幾個Python庫

• lxml, an efficient XML and HTML parser

• parsel, an HTML/XML data extraction library written on top of lxml,

• w3lib, a multi-purpose helper for dealing with URLs and web page encodings

• twisted, an asynchronous networking framework

• cryptography and pyOpenSSL, to deal with various network-level security needs

我選擇手動安裝這些依賴

• pip install lxml

• pip install parsel

• pip install w3lib

• pip install twisted

• pip install cryptography

• pip install pyOpenSSL

其他的安裝都很順利，就是在安裝twisted的時候報錯了。

Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

于是下載離線的安裝（下載自己的版本）
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

下載到一個目錄，然后用

pip install Twisted-17.9.0-cp36-cp36m-win32.whl

之后再用下面的命令安裝就可以了

pip install Scrapy

在命令行中輸入scrapy，出現如下界面，則表示安裝成功

關于如何在Windows中安裝Scrapy模塊問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業資訊頻道了解更多相關知識。