python爬蟲案例代碼分析

今天小編給大家分享一下python爬蟲案例代碼分析的相關知識點，內容詳細，邏輯清晰，相信大部分人都還太了解這方面的知識，所以分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后有所收獲，下面我們一起來了解一下吧。

一、分析

• 爬取對象：當當網 http://book.dangdang.com/
  
  

• 要求：獲取三級類目的名稱，并得到詳情頁書名和圖片url

第一步 頁面分析

• 需求：大分類 二級分類 三級分類 圖書的名字和圖片的src

• 大分類

• 1 在大分類中有一個span標簽，但是源碼中沒有

• 2 有的大分類在dt標簽下面還有一個a標簽 /dt//text().extract()
  獲取dt標簽下的全部文本

• 整個大分類都在 div con flq_body 它下面的 div/dl/dt

• 二級分類

• div level one --> dl class=“inner_dl” dt/text()

• 注意：1 有的大分類在dt標簽下面還有一個a標簽 /dt//text().extract()

• 三級分類

• dl class=“inner_dl” --> dd/a/text()

• 注意：圖片的src images/model/guan/url_none.png 這個時候還是要看下源碼

• data-original=“http://img3m0.ddimg.cn/95/11/27854240-1_b_14.jpg”

第二步 實現步驟

• 1 創建scrapy項目(爬蟲)

• 2 分析頁面并實現邏輯

• 3 改寫程序(scrapy_redis)

二、實現

• 思路：先實現普通的scrapy爬蟲，然后在改寫成scrapy_redis

（一）準備程序

• 在terminal終端輸入

  scrapy startproject book
  # 爬蟲程序名最好不要和爬蟲程序重名
  scrapy genspider dangdang dangdang.com

  
  

• 創建start.py文件，放在與scrapy.cfg同層目錄下

  # 要運行整個程序的話，只需要運行這個文件
  from scrapy import cmdline
  # cmdline.execute('scrapy crawl db'.split())
  cmdline.execute(['scrapy','crawl','dangdang'])

  
  

• 確保redis服務器開啟，且可以連接

• 并輸入lpush dangdang:start_urls url

（二）setting.py文件

• 固定格式

SPIDER_MODULES = ['book.spiders']
NEWSPIDER_MODULE = 'book.spiders'

# 去重過濾
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# scheduler隊里
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 數據持久化
SCHEDULER_PERSIST = True

ROBOTSTXT_OBEY = False

DEFAULT_REQUEST_HEADERS = {
  'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36',
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
}
# 開啟管道
ITEM_PIPELINES = {
    # 'book.pipelines.BookPipeline': 300,
    'scrapy_redis.pipelines.RedisPipeline': 400,
}

（三）dangdang.py文件

import scrapy
from copy import deepcopy
from scrapy_redis.spiders import RedisSpider # 第一步，添加模塊


class DangdangSpider(RedisSpider): # 第二步 修改繼承的父類
    name = 'dangdang'
    allowed_domains = ['dangdang.com']
    # start_urls = ['http://book.dangdang.com/'] 
    #第三步，把start_urls 改寫成 reids_key='爬蟲文件名字'
    redis_key = 'dangdang'

    def parse(self, response):
        div_list = response.xpath('//div[@class="con flq_body"]/div')
        for div in div_list:
            item = {}
            # 獲取大分類
            item['b_cate'] = div.xpath('./dl/dt//text()').extract()
            item['b_cate'] = [i.strip() for i in item['b_cate'] if len(i.strip())>0]

            dl_list = div.xpath('.//dl[@class="inner_dl"]')
            for dl in dl_list:
                # 獲取中分類
                item['m_cate'] = dl.xpath('./dt//text()').extract()
                item['m_cate'] = [i.strip() for i in item['m_cate'] if len(i.strip()) > 0]
                # 獲取小分類
                a_list = dl.xpath('./dd/a')
                for a in a_list:
                    item['s_cate'] = a.xpath('./text()').extract_first()
                    item['s_href'] = a.xpath('./@href').extract_first()

                    if item['s_href'] is not None:
                        yield scrapy.Request(
                            url=item['s_href'],
                            callback=self.parse_book_list,
                            meta={'item':deepcopy(item)}
                        )
                    print(item)

    def parse_book_list(self,response):
        item = response.meta.get('item')
        li_list = response.xpath('//ul[@class="list_aa "]/li')
        for li in li_list:
            # 圖片的url images/model/guan/url_none.png
            item['book_img'] = li.xpath('./a[@class="img"]/img/@src').extract_first()

            if  item['book_img'] == 'images/model/guan/url_none.png':
                item['book_img'] = li.xpath('./a[@class="img"]/img/@data-original').extract_first()
            # 數據的名字
            item['book_name'] = li.xpath('./a[@class="name"]/a/@title').extract_first()
            # print(item)
            yield item

（四）item.py文件

import scrapy


class BookItem(scrapy.Item):
    # define the fields for your item here like:
    name = scrapy.Field()
    pass

以上就是“python爬蟲案例代碼分析”這篇文章的所有內容，感謝各位的閱讀！相信大家閱讀完這篇文章都有很大的收獲，小編每天都會為大家更新不同的知識，如果還想學習更多的知識，請關注億速云行業資訊頻道。