Python怎么實現分類保存所有文章圖片

本篇內容介紹了“Python怎么實現分類保存所有文章圖片”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

項目目標

創建一個文件夾， 分類保存所有文章圖片。下載成功，結果顯示控制臺。

項目分析

1、如何找到真正訪問的地址，多網頁請求?

滑動鼠標，觀察網站，右鍵F12 。鼠標滾輪滑動加載新內容。

點開隨機網頁 , 點開Request URL ，觀察網址的規律。

https://bh.sb/page/1/

https://bh.sb/page/2/

https://bh.sb/page/3/

https://bh.sb/page/4/

觀察到，每增加一頁page/{}/自增加1，用{}代替變換的變量，再用for循環遍歷這網址，實現多個網址請求。

2. 反爬處理

1）獲取正常的 http請求頭，并在requests請求時，設置這些常規的http請求頭。

2）使用 fake_useragent ，產生隨機的UserAgent進行訪問。

涉及的庫和網站

1、網址如下：

https://www.doutula.com/photo/list/?page={}

2、涉及的庫：requests、lxml、fake_useragent、time、os

3、軟件：PyCharm

項目實施

1、我們定義一個class類繼承object，然后定義init方法繼承self，再定義一個主函數main繼承self。導入需要的庫和網址，創建保存文件夾。

import requests, os
from lxml import etree
from fake_useragent import UserAgent
import time
class bnotiank(object):
    def __init__(self):
        os.mkdir("圖片")  # 在創建文件夾 記住只有第一次運行加上，如果多次運行請注釋掉本行。
    def main(self):
          pass
if __name__ == '__main__':
    Siper=bnotiank()
    Siper.main()

2、隨機UserAgent ，構造請求頭，防止反爬。

    ua = UserAgent(verify_ssl=False)
    for i in range(1, 50):
        self.headers = {
            'User-Agent': ua.random
        }

3、發送請求 ，獲取響應，頁面回調，方便下次請求。

'''發送請求  獲取響應'''
def get_page(self, url):
      res = requests.get(url=url, headers=self.headers)
      html = res.content.decode("utf-8")
      return html

4、定義parse_page函數，獲取二級頁面地址，for遍歷獲取需要的字段。

   def parse_page(self, html):
         parse_html = etree.HTML(html)
         image_src_list = parse_html.xpath('//p/a/@href')
         # print(image_src_list)

5、對二級頁面發生請求，xpath解析數據，獲取大圖片鏈接。

    reo = parse_html1.xpath('//div//div[@class="content"]') #父結點
    for j in reo:
        d = j.xpath('.//article[@class="article-content"]//p/img/@src')[0]
        text = parse_html1.xpath('//h2[@class ="article-title"] //a/text()')[0].strip()

6、請求圖片地址，寫入文檔。

    html2 = requests.get(url=d, headers=self.headers).content
    dirname = "./d/">

7、調用方法，實現功能。

    url = self.url.format(page)
    print(url)
    html = self.get_page(url)
    self.parse_page(html)

8、設置延時。（防止ip被封）。

  time.sleep(1) """時間延時"""

效果展示

1、點擊綠色小三角運行輸入起始頁，終止頁。

2、將下載成功信息顯示在控制臺。

3、text 作為圖片命名，展示效果如下所示。

“Python怎么實現分類保存所有文章圖片”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！