溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
根據一個爬取豆瓣電影排名的小應用，來簡單使用etree和request庫。
etree使用xpath語法。
import requests
import ssl
from lxml import etree
ssl._create_default_https_context = ssl._create_unverified_context
session = requests.Session()
for id in range(0, 251, 25):
URL = 'https://movie.douban.com/top250/?start=' + str(id)
req = session.get(URL)
# 設置網頁編碼格式
req.encoding = 'utf8'
# 將request.content 轉化為 Element
root = etree.HTML(req.content)
# 選取 ol/li/div[@class="item"] 不管它們在文檔中的位置
items = root.xpath('//ol/li/div[@class="item"]')
for item in items:
# 注意可能只有中文名，沒有英文名；可能沒有quote簡評
rank, name, alias, rating_num, quote, url = "", "", "", "", "", ""
try:
url = item.xpath('./div[@class="pic"]/a/@href')[0]
rank = item.xpath('./div[@class="pic"]/em/text()')[0]
title = item.xpath('./div[@class="info"]//a/span[@class="title"]/text()')
name = title[0].encode('gb2312', 'ignore').decode('gb2312')
alias = title[1].encode('gb2312', 'ignore').decode('gb2312') if len(title) == 2 else ""
rating_num = item.xpath('.//div[@class="bd"]//span[@class="rating_num"]/text()')[0]
quote_tag = item.xpath('.//div[@class="bd"]//span[@class="inq"]')
if len(quote_tag) is not 0:
quote = quote_tag[0].text.encode('gb2312', 'ignore').decode('gb2312').replace('\xa0', '')
# 輸出 排名，評分，簡介
print(rank, rating_num, quote)
# 輸出 中文名，英文名
print(name.encode('gb2312', 'ignore').decode('gb2312'),
alias.encode('gb2312', 'ignore').decode('gb2312').replace('/', ','))
except:
print('faild!')
pass
程序運行結果：
補充知識：requests抓取以及Xpath解析
代碼：
# requests抓取
import requests
# 新浪新聞的一篇新聞的url
url = 'http://news.sina.com.cn/s/2018-05-09/doc-ihaichqz1009657.shtml'
res = requests.get(url)
# 查看編碼方式
enconding = requests.utils.get_encodings_from_content(res.text)
#print(enconding)
# 打印網頁內容
html_doc = res.content.decode("utf-8")
print(html_doc[:500])
# 保存網頁內容
with open('test.html', 'w') as f:
f.write(html_doc)
運行結果：
<!DOCTYPE html> <!-- [ published at 2018-05-09 18:23:13 ] --> <!-- LLTJ_MT:name ="澎湃新聞" --> <html> <head> <meta charset="utf-8"/> <meta http-equiv="Content-type" content="text/html; charset=utf-8" /> <meta name="sudameta" content="urlpath:s/; allCIDs:51924,257,51895,200856,56264,258,38790"> <title>小學老師罰學生赤腳跑操場 官方：將按規定處理|赤腳|學生|華龍網_新浪新聞</title> <meta name="keywords" content="赤腳,學生,華龍網" /> <meta name="tags" content="赤腳,學生,華龍網" /> <meta name="description" content="原標題：潼南一小學體育老師罰學生赤腳跑操場續：區教委向華龍網發來情況
代碼：
# xpath解析
from lxml import etree
# 建立html的樹
tree = etree.HTML(html_doc)
# 設置目標路徑（標題）
path_title = '/html/body//h2[@class="main-title"]//text()'
# 提取節點
node_title = tree.xpath(path_title)
print("===" * 20)
print(node_title[0])
# 設置內容路徑
path_content = '//div[@class="article-content-left"]//div[@id="article"]//text()'
# 提取節點
node_content = tree.xpath(path_content)
print("===" * 20)
print("。".join(node_content))
運行結果：
============================================================ 小學老師罰學生赤腳跑操場 官方：將按規定處理 ============================================================ 。 原標題：潼南一小學體育老師罰學生赤腳跑操場續：區教委向華龍網發來情況說明。 。 重慶客戶端-華龍網5月9日消息，這兩天，重慶潼南區朝陽小學二年級6班不少家長心疼不已，因為多個娃兒腳底被磨出了泡。一問才知道，是因為有些學生體育課上沒穿運動鞋，被體育老師要求赤腳在操場上跑步。收到重慶網絡問政平臺這一投訴后，華龍網記者立即進行了調查。今（9）日，華龍網發布了。《重慶潼南一小學體育老師罰學生赤腳跑操場腳底磨出泡當地教委介入》。報道后，潼南教委高度重視并給華龍網傳來官方的情況說明。。 。 。 [說明全文]。 。 關于家長在華龍網投訴教師上體育課體罰學生的情況說明。 。 潼南區朝陽小學體育教師鄒老師于2018年5月7日上午上體育課時，發現該班有少部分名學生未按體育課的要求穿運動鞋。該教師認為，穿著涼鞋跑步對學生本人及他人存在安全隱患，塑膠跑道不會對學生光腳運動造成影響，于是就叫未穿運動鞋的學生，脫掉涼鞋進行隨班熱身跑步。當時鄒老師未發現學生有異常情況，也未接到學生有異常情況的反映。后經家長反映到學校，有極少數光著腳跑步的學生有異常情況，學校庚即與部分家長進行了溝通，并及時調查了解了此事，并對該教師這種不恰當教學方法進行了批評教育，我們將按相關規定對該教師作出相應的處理。。 。 重慶市潼南區教育委員會。 。 2018年5月9日。 。 來源：華龍網。 。責任編輯：張義凌 。
以上這篇python3 xpath和requests應用詳解就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持億速云。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
