怎么使用Python采集電影評論

本篇內容主要講解“怎么使用Python采集電影評論”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“怎么使用Python采集電影評論”吧!

發送請求

我們首先確定我們的目標網址，對我們需要獲取的數據。

我們要把每一個評論獲取下來，我們接下來用到開發者工具。我們看評論是在什么位置。是不是在網頁源代碼中。接下來，我們發送請求，獲取網頁源代碼。

url = 'https://movie.douban.com/subject/35267208/comments'
params = {
    'start': f'{num}',
    'limit': '20',
}
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36',
}
res = requests.get(url, headers=headers, params=params)
print(res)

這段代碼中，我們首先定義了一個 URL，然后使用 requests.get() 函數獲取該 URL 的數據，并將其存儲在 res 變量中。最后，我們打印出 res 變量的值，即獲取到的數據。

在這個例子中，我們使用了 params 參數來指定獲取數據的起始位置和每頁顯示的記錄數。在這個例子中，我們指定了起始位置為第 num 條記錄，每頁顯示 limit 條記錄。

請注意，這個例子中使用的 user-agent 頭部是為了模擬瀏覽器的行為。在實際應用中，我們應該使用 User-Agent 頭部來指定我們的請求類型，例如 requests.get() 函數默認使用 'requests/2.18.4' 作為 User-Agent。

解析數據

我們還可以獲取其他信息，比如講，地區，時間之類的。

我們先解析數據。

selector = parsel.Selector(res.text)
info_lists = selector.css('div.comment-item')

這段代碼中，我們首先使用 parsel 庫中的 Selector 類來解析 res.text 中的內容，并將其轉換為 CSS 選擇器。然后，我們使用 css 方法來獲取 CSS 選擇器中的所有 div 元素，并將其存儲在 info_lists 變量中。

需要注意的是，parsel 庫中的 Selector 類是一個比較底層的 CSS 解析器，它并不會對 CSS 選擇器進行任何優化或轉換。因此，在使用 Selector 類時，我們需要確保輸入的 CSS 選擇器是有效的，并且不會包含任何無效的 CSS 屬性或值。

獲取內容

for info_list in info_lists:
    # print(info_list)
    name = info_list.css('.comment-info a::text').get()
    rating = info_list.css('.rating::attr(title)').get()
    times = info_list.css('.comment-time::attr(title)').get()
    area = info_list.css('.comment-location::text').get()
    vote_count = info_list.css('.vote-count::text').get()
    short = info_list.css('.short::text').get()

這段代碼中，我們使用 for 循環遍歷 info_lists 中的每一個元素，并使用 css 方法獲取該元素的 text 屬性值。然后，我們使用 get() 方法獲取該屬性值的 title 屬性值，并將其存儲在 name 變量中。接著，我們使用 get() 方法獲取該屬性值的 title 屬性值，并將其存儲在 rating 變量中。最后，我們使用 get() 方法獲取該屬性值的 title 屬性值，并將其存儲在 times 變量中。最后，我們使用 get() 方法獲取該屬性值的 title 屬性值，并將其存儲在 area 變量中。最后，我們使用 get() 方法獲取該屬性值的 title 屬性值，并將其存儲在 vote_count 變量中。最后，我們使用 get() 方法獲取該屬性值的 title 屬性值，并將其存儲在 short 變量中。

輸出內容

print(name, rating, times, area, vote_count, short)

這段代碼中，我們使用 print() 函數打印出了名稱、評分、時間、地點、投票數和簡短描述。

到此，相信大家對“怎么使用Python采集電影評論”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！