中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

如何用Python爬取彈幕

發布時間:2020-06-24 09:40:39 來源:億速云 閱讀:298 作者:清晨 欄目:編程語言

小編給大家分享一下如何用Python爬取彈幕,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討方法吧!


整篇文章分為兩部分:1.爬取愛奇藝中該劇第一集的彈幕 2.對爬取出來的彈幕做處理,并制作詞云。

1.爬取愛奇藝彈幕

相比于其他視頻網站來說,愛奇藝的彈幕難爬一些,為啥呢,因為你爬取出來的文件是亂碼的(下邊會貼圖),需要自己再把該文件二進制編碼之后才能用。具體步驟如下:

首先,打開瀏覽器,進入愛奇藝頁面,點開該劇,彈幕打開,然后F12,瀏覽器下方或者右側會彈出一些界面,選擇Network,在我圖上標注的框中輸入“bullet”搜索彈幕相關的文件,為啥輸入這個搜索呢,因為這個單詞的意思就是彈幕,程序員命名東西一般也是有規律的,還有大多視頻網站的彈幕相關文件都是這個名字哈哈。如果你F12搜索之后無內容,那直接點擊下瀏覽器刷新按鈕即可。下圖中箭頭指的分別是Network、搜索框、彈幕文件名和彈幕內容(你可以看到,彈幕內容是亂七八糟的亂碼)。還有說明一點,彈幕文件一集不止一個,愛奇藝5分鐘加載一個彈幕文件(為啥5分鐘,下邊會解釋)。

如何用Python爬取彈幕

 

接下來,觀察彈幕文件出現的規律以及彈幕文件地址中的規律,總結為以下:

彈幕文件鏈接規律為

https://cmts.iqiyi.com/bullet/tvid倒數4位的前兩位/tvid最后兩位/tvid_300_x.z;

x的計算方式為片子總時長除以300秒向上取整,即按每5分鐘一個包。

tvid是啥呢,就是你URL導航欄里的這塊,x為啥按5分鐘一個包呢,是因為我F12之后查看兩個相鄰的彈幕文件包,它就是5分鐘加載一個。

如何用Python爬取彈幕

 

 

如何用Python爬取彈幕

 

如何用Python爬取彈幕

 

那第一集總共時長77分鐘,按5分鐘加載一個彈幕文件的話,向上取整,我們總共要抓取16個(77/5+1)彈幕文件。

抓取代碼為:

import zlib
import requests
for x in range(16):
    x+=1
    #x是從1到16,16怎么來的,第一集總共77分鐘,愛奇藝每5分鐘會加載新的彈幕
    #77除以5向上取整
    url='https://cmts.iqiyi.com/bullet/92/00/9000000005439200_300_'+str(x)+'.z'
    bulletold=requests.get(url).content #這步取出來的文件是亂碼的
    bulletnew = bytearray(bulletold)#將上一步的亂碼文件用二進制再編碼下
    xml=zlib.decompress(bulletnew, 15+32).decode('utf-8')
    #把編碼好的文件分別寫入16個xml文件中(類似于txt文件),方便后邊取數據

    with open('./iqiyi'+str(x)+'.xml','a+',encoding='utf-8') as f:
        f.write(xml)
    f.close()

 

抓取出來的xml文件為下圖,能看出來content字段就是彈幕:

如何用Python爬取彈幕

 

將xml文件中的content字段取出來存為dan_mu.txt文件,方便我們之后做詞云:

from xml.dom.minidom import parse
import xml.dom.minidom
for x in range(16):
    x+=1
    DOMTree = xml.dom.minidom.parse(r"C:\Users\dmj\PycharmProjects\test\iqiyi"+str(x)+".xml")
    collection = DOMTree.documentElement
    # 在集合中獲取所有entry數據
    entrys = collection.getElementsByTagName("entry")
    print(entrys)
    for entry in entrys:
        content = entry.getElementsByTagName('content')[0]
        print(content.childNodes[0].data)
        i = content.childNodes[0].data
        with open("dan_mu.txt", mode="a+", encoding="utf-8") as f:
                f.write(i)
                f.write("\n")

dan_mu.txt文件大概長這樣:

如何用Python爬取彈幕

 

2.制作詞云

制作詞云使用python的wordcloud庫和jieba庫,代碼如下:

from wordcloud import WordCloud
import jieba
import matplotlib.pyplot as plt
#讀取彈幕txt文件
with open('./dan_mu.txt',encoding = 'utf-8', mode = 'r')as f:
    myText = f.read()
myText = " ".join(jieba.cut(myText))
list = myText.split(" ")

#清洗無用數據
for i in range(len(list)-1,-1,-1):
    if len(list[i])==1 or list[i]=="這個" or \
            list[i]=="不是" or list[i]=="這么" \
            or list[i]=="怎么" or list[i]=="這是"\
            or list[i]=="還是":
        list.remove(list[i])
#print(list)
myText= " ".join(list)
print(myText)

# 制作詞云
wordcloud = WordCloud(background_color="white", font_path="simsun.ttf", height=300, width = 400).generate(myText)
# 圖片展示
plt.imshow(wordcloud)
plt.axis("off")
plt.show()
# 將詞云圖片導出到當前文件夾
wordcloud.to_file("wordCloudMo.png")

在此處可能會遇到的問題是,wordcloud這個外部庫你在下載的時候可能會遇到各種花式報錯,如何解決呢,參見下邊這位老哥的方法:

https://blog.csdn.net/qq_42813128/article/details/82020510

詞云圖結果如下:

如何用Python爬取彈幕

 

從詞云圖中我們可以看到,“真實”,“孩子”,“嚴良”,“普普”,“演技”等詞語出現的頻率很高。“真實”,“演技”,“厲害”等詞語是大家對這部劇的肯定;“孩子”指的是這三個主演的小孩;“普普”的演技真的很不錯,大家都猜測她會不會成為下一個張子楓。

總體來講,彈幕中大家對這部劇基本都是好評,所以還是值得一看的。


    

看完了這篇文章,相信你對如何用Python爬取彈幕有了一定的了解,想了解更多相關知識,歡迎關注億速云行業資訊頻道,感謝各位的閱讀!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

靖宇县| 来安县| 福贡县| 深州市| 开化县| 克拉玛依市| 礼泉县| 治县。| 山阴县| 泰兴市| 昆明市| 静安区| 慈利县| 达孜县| 宁陕县| 镇赉县| 田东县| 贺兰县| 滦南县| 和龙市| 孙吴县| 大庆市| 南平市| 壶关县| 积石山| 深水埗区| 浪卡子县| 汉阴县| 耒阳市| 陵川县| 教育| 南宁市| 浦江县| 叙永县| 剑阁县| 祁门县| 宁夏| 军事| 龙游县| 彩票| 张家口市|