溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這期內容當中小編將會給大家帶來有關Python如何搭建爬蟲程序，文章內容豐富且以專業的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。
開發工具
Python版本：3.6.4
相關模塊：
scrapy模塊；
pyecharts==1.5.1模塊；
wordcloud模塊；
jieba模塊；
以及一些python自帶的模塊。
安裝Python并添加到環境變量，pip安裝需要的相關模塊即可。
先隨手推一波自己開源的利用requests進行模擬登錄的庫：
https://github.com/CharlesPikachu/DecryptLogin
目前該庫支持模擬登錄的網站包括：
1\. 微博
后續會不斷添加和完善該庫的功能以及該庫相關的一些小應用。當然，今天是用不上了，因為我發現他喵的知乎的粉絲數據竟然一直是一個裸的API，即使是改版之后，也不需要驗證什么登錄后的cookies之類的東西直接就能抓取到了。
言歸正傳，簡單說說這個數據怎么抓取吧，其實很簡單，F12打開開發者工具，刷新一下關注者頁面，就可以發現：
請求這個接口直接就能返回目標用戶的粉絲數據了，接口的組成形式為：
https://www.zhihu.com/api/v4/members/{用戶域名}/followers?沒有什么特別需要注意的地方，不用懷疑，就是這么簡單，scrapy新建一個項目爬就完事了：
scrapy startproject zhihuFansSpider
定義一下items:
class ZhihufansspiderItem(scrapy.Item):
然后新建并寫一個爬蟲主程序就OK啦：
'''知乎粉絲小爬蟲'''
運行以下命令開始爬取目標用戶的粉絲數據：
scrapy crawl zhihuFansSpider -o followers_info.json -t json
數據可視化
老規矩，可視化一下爬到數據唄(這里就以我自己知乎賬號的關注者數據為例好了T_T)。
先畫個粉絲主頁標題的詞云壓壓驚？
