python怎么抓取糗事百科的內容

這篇文章主要講解了“python怎么抓取糗事百科的內容”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“python怎么抓取糗事百科的內容”吧！

# 抓取糗事百科的內容
import requests
from lxml import etree
class Qiushi() :
	def __init__(self) : 
		self.url = 'http://www.qiushibaike.com/8hr/page/{}';
		self.headers = {
			"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1 Trident/5.0;"
		};

	def parse_url(self , url) : 
		response = requests.get(url , timeout = 10 , headers = self.headers)
		assert response.status_code == 200
		print(url)
		return etree.HTML(response.text)

	def parse_content(self , html) : 
		item = html.xpath('//div[@class="recommend-article"]/ul/li')
		print(item)
		for i in item : 
			# 內容 
			print(i.xpath('./div/a[@class="recmd-content"]/text()'));
			# 好笑數
			print(i.xpath('./div/div[@class="recmd-detail clearfix"]/div/span[1]/text()'))
			# 評論數
			print(i.xpath('./div/div[@class="recmd-detail clearfix"]/div/span[4]/text()'))
			# 用戶名
			print(i.xpath('./div/div[@class="recmd-detail clearfix"]/a/span/text()'))
			# 頭像地址
			print(i.xpath('./div/div[@class="recmd-detail clearfix"]/a/img/@src'))


	def run(self) : 
		url = self.url.format(1);
		html = self.parse_url(url);
		self.parse_content(html);

if __name__ == '__main__': 
	qiu = Qiushi();
	qiu.run();

感謝各位的閱讀，以上就是“python怎么抓取糗事百科的內容”的內容了，經過本文的學習后，相信大家對python怎么抓取糗事百科的內容這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！