一、Scrapy的簡單使用-爬蟲

一、介紹：

        Scrapy一個開源和協作的框架，其最初是為了頁面抓取所設計的，使用它可以以快速、簡單、可擴展的方式從網站中提取所需的數據。但目前Scrapy的用途十分廣泛，可用于如數據挖掘、監測和自動化測試等領域，也可以應用在獲取API所返回的數據(例如 Amazon Associates Web Services ) 或者通用的網絡爬蟲。

        Scrapy 是基于twisted框架開發而來，twisted是一個流行的事件驅動的python網絡框架。因此Scrapy使用了一種非阻塞（又名異步）的代碼來實現并發。整體架構大致如下

執行流程：

1.引擎從spider獲取初始爬行請求。

2.引擎在調度程序中調度請求，并請求下一個要爬行的請求。

3.調度程序將下一個請求返回到引擎。

4.引擎將請求發送到下載器，并通過下載器中間件（請參見process_request（））。

5.一旦頁面完成下載，下載器將生成響應（使用該頁面），并將其發送到引擎，并通過下載器中間軟件（請參見process_response（））。

6.引擎接收下載器的響應并將其發送給spider進行處理，并通過spider中間件進行處理（請參見process_spider_input（））。

7.spider處理響應，并通過spider中間件（請參見process_spider_output（））向引擎返回刮掉的項目和新請求（后續）。

8.引擎將已處理的項目發送到項目管道，然后將已處理的請求發送到計劃程序，并請求可能的下一個請求進行爬網。

9.該過程重復（從步驟1開始），直到調度程序不再發出請求。

各組件以及作用

1. 引擎(EGINE)

   引擎負責控制系統所有組件之間的數據流，并在某些動作發生時觸發事件。有關詳細信息，請參見上面的數據流部分。

2. 調度器(SCHEDULER)用來接受引擎發過來的請求, 壓入隊列中, 并在引擎再次請求的時候返回. 可以想像成一個URL的優先級隊列, 由它來決定下一個要抓取的網址是什么, 同時去除重復的網址

3. 下載器(DOWLOADER)用于下載網頁內容, 并將網頁內容返回給EGINE，下載器是建立在twisted這個高效的異步模型上的

4. 爬蟲(SPIDERS)SPIDERS是開發人員自定義的類，用來解析responses，并且提取items，或者發送新的請求

5. 項目管道(ITEM PIPLINES)在items被提取后負責處理它們，主要包括清理、驗證、持久化（比如存到數據庫）等操作

6. 下載器中間件(Downloader Middlewares)

   位于Scrapy引擎和下載器之間，主要用來處理從EGINE傳到DOWLOADER的請求request，已經從DOWNLOADER傳到EGINE的響應response

7. 爬蟲中間件(Spider Middlewares)位于EGINE和SPIDERS之間，主要工作是處理SPIDERS的輸入（即responses）和輸出（即requests）

安裝

#Windows平臺

    1、pip3 install wheel #安裝后，便支持通過wheel文件安裝軟件，wheel文件官網：https://www.lfd.uci.edu/~gohlke/pythonlibs

    3、pip3 install lxml

    4、pip3 install pyopenssl

    5、下載并安裝pywin32：https://sourceforge.net/projects/pywin32/files/pywin32/

            https://nchc.dl.sourceforge.net/project/pywin32/pywin32/Build%20221/pywin32-221.win-amd64-py3.6.exe

    6、下載twisted的wheel文件：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

           https://download.lfd.uci.edu/pythonlibs/r5uhg2lo/Twisted-18.9.0-cp36-cp36m-win_amd64.whl

    7、執行pip3 install 下載目錄\Twisted-17.9.0-cp36-cp36m-win_amd64.whl （需先使用pip安裝wheel 支持whl 軟件包，然后把文件下載后，本地安裝）

    8、pip3 install scrapy

#Linux平臺

    1、pip3 install scrapy

常用命令

#1 查看幫助

    scrapy -h

    scrapy <command> -h

#2 有兩種命令：其中Project-only必須切到項目文件夾下才能執行，而Global的命令則不需要

    Global commands:

        startproject #創建項目

        scrapy startproject amazon

        genspider    #創建爬蟲程序  指定名稱 限制爬取的網址

        scrapy genspider amzon www.amzon.cn

        settings     #如果是在項目目錄下，則得到的是該項目的配置

        scrapy settings --get BOT_NAME

        runspider    #運行一個獨立的python文件，不必創建項目

        scrapy runspider amzon.py

        shell        #scrapy shell url地址  在交互式調試，如選擇器規則正確與否

        scrapy shell www.taobao.com

        fetch        #單純地爬取一個頁面，不打開瀏覽器，可以拿到請求頭

        scrapy fetch --nolog http://www.baidu.com 不輸出日志

             scrapy fetch --nolog --header http://www.baidu.com 不輸出日志  只查看頭信息

        view         #下載完畢后直接彈出瀏覽器，以此可以分辨出哪些數據是ajax請求

        scrapy view http://www.baidu.com

        version      #scrapy version 查看scrapy的版本，scrapy version -v查看scrapy依賴庫的版本

        scrapy version -v

    Project-only commands:

#必須先切換到對應的目錄才能執行

        crawl        #運行爬蟲，必須創建項目才行，確保配置文件中ROBOTSTXT_OBEY = False

        scrapy crawl amzon

        check        #檢測項目中有無語法錯誤

        scrapy check

        list         #列出項目中所包含的爬蟲名

        scrapy list

        edit         #編輯器，一般不用

        parse        #scrapy parse url地址 --callback 回調函數  #以此可以驗證我們的回調函數是否正確

        bench        #scrapy bentch壓力測試

#3 官網鏈接

    https://docs.scrapy.org/en/latest/topics/commands.html

目錄結構

project_name/

   scrapy.cfg

   project_name/

       __init__.py

       items.py

       pipelines.py

       settings.py

       spiders/

           __init__.py

           爬蟲1.py

           爬蟲2.py

           爬蟲3.py

文件說明：

scrapy.cfg  項目的主配置信息，用來部署scrapy時使用，爬蟲相關的配置信息在settings.py文件中。

items.py    設置數據存儲模板，用于結構化數據，如：Django的Model

pipelines    數據處理行為，如：一般結構化的數據持久化

settings.py 配置文件，如：遞歸的層數、并發數，延遲下載等。強調:配置文件的選項必須大寫否則視為無效，正確寫法USER_AGENT='xxxx'

spiders      爬蟲目錄，如：創建文件，編寫爬蟲規則

注意：一般創建爬蟲文件時，以網站域名命名

import sys,os

sys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')

在pycharm中運行爬蟲程序

在項目目錄下新建：entrypoint.py

from scrapy.cmdline import execute
execute(['scrapy', 'crawl', 'amzon'])