中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

python3 爬蟲如何處理異常

小樊
81
2024-11-28 10:13:40
欄目: 編程語言

在Python3中,處理爬蟲異常的方法有很多種。這里,我將向您展示如何使用try-except語句來處理異常。以下是一個簡單的爬蟲示例,我們將使用requests庫來發送HTTP請求,并使用BeautifulSoup庫來解析HTML內容。

首先,確保已經安裝了所需的庫:

pip install requests
pip install beautifulsoup4

接下來,我們編寫一個簡單的爬蟲:

import requests
from bs4 import BeautifulSoup

def get_html(url):
    try:
        response = requests.get(url)
        response.raise_for_status()  # 如果請求失敗,將拋出異常
        return response.text
    except requests.exceptions.RequestException as e:
        print(f"請求異常: {e}")
        return None

def parse_html(html):
    try:
        soup = BeautifulSoup(html, "html.parser")
        # 在這里解析HTML內容,例如提取所有鏈接
        links = soup.find_all("a")
        for link in links:
            print(link.get("href"))
    except Exception as e:
        print(f"解析異常: {e}")

def main():
    url = "https://example.com"
    html = get_html(url)
    if html:
        parse_html(html)

if __name__ == "__main__":
    main()

在這個示例中,我們使用try-except語句來捕獲和處理異常。在get_html函數中,我們嘗試發送HTTP請求并獲取響應。如果請求失敗(例如,由于網絡問題或無效的URL),我們將捕獲requests.exceptions.RequestException異常并打印錯誤信息。

同樣,在parse_html函數中,我們嘗試使用BeautifulSoup解析HTML內容。如果解析過程中出現任何異常,我們將捕獲通用異常并打印錯誤信息。

這樣,我們的爬蟲可以在遇到問題時繼續運行,而不是完全崩潰。

0
本溪市| 锡林郭勒盟| 灵寿县| 浠水县| 驻马店市| 沁源县| 乐东| 武隆县| 铜鼓县| 蒲城县| 梁山县| 石屏县| 太谷县| 浏阳市| 怀仁县| 北安市| 施甸县| 台南市| 德惠市| 宁安市| 抚州市| 赤壁市| 十堰市| 长葛市| 武鸣县| 大悟县| 海门市| 平阳县| 车致| 台北县| 青海省| 永胜县| 荥阳市| 临邑县| 桃园市| 册亨县| 鸡西市| 高台县| 太湖县| 沾益县| 进贤县|