溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹了python爬蟲中如何爬取新聞，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。
python的五大特點：1.簡單易學，開發程序時，專注的是解決問題,而不是搞明白語言本身。2.面向對象，與其他主要的語言如C++和Java相比, Python以一種非常強大又簡單的方式實現面向對象編程。3.可移植性，Python程序無需修改就可以在各種平臺上運行。4.解釋性，Python語言寫的程序不需要編譯成二進制代碼,可以直接從源代碼運行程序。5.開源，Python是 FLOSS(自由/開放源碼軟件)之一。
1、爬蟲思路：
定義編碼形式并引入模塊；
請求新聞網站URL，獲取其text文本并解析；
通過select選擇器定位解析文件指定的元素，返回一個列表并遍歷；
獲取相關內容。
2、具體實現
第一步：使用UTF-8編碼形式定義文件（避免一些編碼錯誤導致中文亂碼），并引入相關模塊。
# coding:utf-8 # 引入相關模塊 import requests from bs4 import BeautifulSoup url = "http://news.qq.com/"
第二步：請求新聞網站URL，獲取其text文本
wbdata = requests.get(url).text
第三步：解析獲取到的文本
soup = BeautifulSoup(wbdata,'lxml')
第四步：通過select選擇器定位解析文件指定的元素，返回一個列表
從解析文件中通過select選擇器定位指定的元素，返回一個列表
news_titles = soup.select("div.text > em.f14 > a.linkto")第五步：遍歷返回的列表
for n in news_titles:
第六步：獲取新聞標題及信息
# 提取出標題和鏈接信息
title = n.get_text()
link = n.get("href")
data = {
'標題':title,
'鏈接':link
}
print(data)感謝你能夠認真閱讀完這篇文章，希望小編分享的“python爬蟲中如何爬取新聞”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
