中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

怎么用python抓取網頁內容保存到csv文件

小億
147
2023-12-09 01:03:42
欄目: 編程語言

要使用Python抓取網頁內容并保存到CSV文件,可以按照以下步驟進行操作:

  1. 導入所需的庫,包括requests用于發送HTTP請求,csv用于操作CSV文件。
import requests
import csv
  1. 發送HTTP請求獲取網頁內容,并將其存儲在一個變量中。可以使用requests.get()方法來發送GET請求,并使用.text屬性來獲取網頁內容。
url = "http://example.com"  # 替換為需要抓取的網頁URL
response = requests.get(url)
content = response.text
  1. 解析網頁內容,提取所需的數據。可以使用Python內置的字符串操作方法或者使用第三方庫(如BeautifulSoup)來解析網頁。
# 使用示例:使用正則表達式從網頁內容中提取所有的鏈接
import re

pattern = '<a href="(.*?)".*?>'
links = re.findall(pattern, content)
  1. 創建一個CSV文件,并將數據寫入其中。可以使用csv.writer對象來寫入CSV文件,通過調用其writerow()方法來寫入一行數據。
filename = "data.csv"  # 替換為所需的CSV文件名
with open(filename, 'w', newline='') as file:
    writer = csv.writer(file)
    writer.writerow(["Link"])  # 寫入表頭
    for link in links:
        writer.writerow([link])  # 寫入數據

完整的代碼示例:

import requests
import csv
import re

url = "http://example.com"  # 替換為需要抓取的網頁URL
response = requests.get(url)
content = response.text

pattern = '<a href="(.*?)".*?>'
links = re.findall(pattern, content)

filename = "data.csv"  # 替換為所需的CSV文件名
with open(filename, 'w', newline='') as file:
    writer = csv.writer(file)
    writer.writerow(["Link"])  # 寫入表頭
    for link in links:
        writer.writerow([link])  # 寫入數據

運行上述代碼后,會在當前目錄下生成一個名為"data.csv"的文件,其中包含了抓取到的網頁鏈接信息。根據實際需求,可以調整代碼來提取其他所需的數據并寫入CSV文件。

0
河东区| 云浮市| 林西县| 关岭| 周至县| 金堂县| 普格县| 毕节市| 灌阳县| 巴塘县| 通榆县| 泰安市| 北海市| 郁南县| 象州县| 衡山县| 庆云县| 上虞市| 河津市| 天津市| 伊吾县| 萨嘎县| 松潘县| 郧西县| 茂名市| 沛县| 宁晋县| 玛曲县| 鄯善县| 横峰县| 旅游| 十堰市| 科尔| 重庆市| 阿拉善盟| 突泉县| 嘉鱼县| 鄂尔多斯市| 巴马| 沛县| 株洲市|