使用python怎么爬取微博評論

今天就跟大家聊聊有關使用python怎么爬取微博評論，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結了以下內容，希望大家根據這篇文章可以有所收獲。

python主要應用領域有哪些

1、云計算，典型應用OpenStack。2、WEB前端開發，眾多大型網站均為Python開發。3.人工智能應用，基于大數據分析和深度學習而發展出來的人工智能本質上已經無法離開python。4、系統運維工程項目，自動化運維的標配就是python+Django/flask。5、金融理財分析，量化交易，金融分析。6、大數據分析。

一、爬蟲微博

與QQ空間爬蟲類似，可以爬取新浪微博用戶的個人信息、微博信息、粉絲、關注和評論等。

爬蟲抓取微博的速度可以達到 1300萬/天 以上，具體要視網絡情況。

難度程度排序：網頁端>手機端>移動端。微博端就是最好爬的微博端。

二、python爬蟲爬取微博評論

第一步：確定評論用戶的id

# -*- coding:utf-8 -*-
import requests
import re
import time
import pandas as pd
urls = 'https://m.weibo.cn/api/comments/show?id=4073157046629802&page={}'
headers = {'Cookies':'Your cookies',
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'}

第二步：找到html標簽

tags = re.compile('</?\w+[^>]*>')

第三步：設置提取評論function

def get_comment(url):
 
 
    j = requests.get(url, headers=headers).json()
 
 
    comment_data = j['data']['data']
 
 
    for data in comment_data:
 
 
        try:

第四步：利用正則表達式去除文本中的html標簽

comment = tags.sub('', data['text']) # 去掉html標簽
 
 
            reply = tags.sub('', data['reply_text'])
 
 
            weibo_id = data['id']
 
 
            reply_id = data['reply_id']
 
 
 
            comments.append(comment)
 
 
            comments.append(reply)
 
 
            ids.append(weibo_id)
 
 
            ids.append(reply_id)

第五步：爬取評論

df = pd.DataFrame({'ID': ids, '評論': comments})
 
 
df = df.drop_duplicates()
 
 
df.to_csv('觀察者網.csv', index=False, encoding='gb18030')

看完上述內容，你們對使用python怎么爬取微博評論有進一步的了解嗎？如果還想了解更多知識或者相關內容，請關注億速云行業資訊頻道，感謝大家的支持。