python爬蟲怎么用json提取評論

這篇文章主要介紹python爬蟲怎么用json提取評論，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

在網上看過移動端的微博數據很好爬，沒有異步加載，可是不知道為什么，評論數據就是異步加載的，其實異步加載不可怕，找到相應js包即可，如下圖為沈夢辰的一條微博和評論的js包。我們只需請求這個js數據，然后利用json庫即可提取我們所需的評論數據。

代碼

import requests
import json
import time
import pymongo
 
client = pymongo.MongoClient('localhost', 27017)
weibo = client['weibo']
comment_shengmengc = weibo['comment_shengmengc']
 
headers = {
    "Cookies":'xxxxxxxxxxx',
    "User-Agent":'Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1'
}
 
url_comment = ['http://m.weibo.cn/api/comments/show?id=4060977869675098&page={}'.format(str(i)) for i in range(0,1000)]
def get_comment(url):
    wb_data = requests.get(url,headers=headers).text
    data_comment = json.loads(wb_data)
    try:
        datas = data_comment['data']
        for data in datas:
            comment = {"comment":data.get("text")}
            comment_shengmengc.insert_one(comment)
    except KeyError:
        pass
for url in url_comment:
    get_comment(url)
    time.sleep(2)

以上是“python爬蟲怎么用json提取評論”這篇文章的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注億速云行業資訊頻道！