溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本文實例講述了Python抓取某只基金歷史凈值數據。分享給大家供大家參考，具體如下：
http://fund.eastmoney.com/f10/jjjz_519961.html
1、接下來，我們需要動手把這些html抓取下來(這部分知識我們之前已經學過，現在不妨重溫)
# coding: utf-8
from selenium.webdriver.support.ui import WebDriverWait
from selenium import webdriver
from bs4 import BeautifulSoup
from threading import Thread,Lock
import os
import csv
# 下面是利用 selenium 抓取html頁面的代碼
# 初始化函數
def initSpider():
driver = webdriver.PhantomJS(executable_path=r"你phantomjs可執行文件的絕對路徑")
driver.get("http://fund.eastmoney.com/f10/jjjz_519961.html") # 要抓取的網頁地址
# 找到"下一頁"按鈕,就可以得到它前面的一個label,就是總頁數
getPage_text = driver.find_element_by_id("pagebar").find_element_by_xpath(
"div[@class='pagebtns']/label[text()='下一頁']/preceding-sibling::label[1]").get_attribute("innerHTML")
# 得到總共有多少頁
total_page = int("".join(filter(str.isdigit, getPage_text)))
# 返回
return (driver,total_page)
# 獲取html內容
def getData(myrange,driver,lock):
for x in myrange:
# 鎖住
lock.acquire()
tonum = driver.find_element_by_id("pagebar").find_element_by_xpath(
"div[@class='pagebtns']/input[@class='pnum']") # 得到 頁碼文本框
jumpbtn = driver.find_element_by_id("pagebar").find_element_by_xpath(
"div[@class='pagebtns']/input[@class='pgo']") # 跳轉到按鈕
tonum.clear() # 第x頁 輸入框
tonum.send_keys(str(x)) # 去第x頁
jumpbtn.click() # 點擊按鈕
# 抓取
WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pagebar").find_element_by_xpath("div[@class='pagebtns']/label[@value={0} and @class='cur']".format(x)) != None)
# 保存到項目中
with open("../htmls/details/{0}.txt".format(x), 'wb') as f:
f.write(driver.find_element_by_id("jztable").get_attribute("innerHTML").encode('utf-8'))
f.close()
# 解鎖
lock.release()
# 開始抓取函數
def beginSpider():
# 初始化爬蟲
(driver, total_page) = initSpider()
# 創建鎖
lock = Lock()
r = range(1, int(total_page)+1)
step = 10
range_list = [r[x:x + step] for x in range(0, len(r), step)] #把頁碼分段
thread_list = []
for r in range_list:
t = Thread(target=getData, args=(r,driver,lock))
thread_list.append(t)
t.start()
for t in thread_list:
t.join() # 這一步是需要的,等待線程全部執行完成
print("抓取完成")
# #################上面代碼就完成了 抓取遠程網站html內容并保存到項目中的 過程
需要說明一下這3個函數：
initSpider函數，初始化了selenium的webdriver對象，并且先獲取到我們需要抓取頁面的總頁碼數。
getData函數，有3個參數，myrange我們還是要分段抓取，之前我們學過多進程抓取，這里我們是多線程抓取；lock參數用來鎖住線程的，防止線程沖突；driver就是我們在initSpider函數中初始化的webdriver對象。
在getData函數中，我們循環myrange，把抓取到的html內容保存到了項目目錄中。
beginSpider函數，我們在此函數中給總頁碼分段，并且創建線程，調用getData。
所以最后執行：
beginSpider()
就開始抓取 http://fund.eastmoney.com/f10/jjjz_519961.html 這個基金的”歷史凈值明細”，共有31個頁面。
2、根據已經學過的python和mysql交互的知識，我們也可以再把這些數據 寫入到數據表中。
這里就不再贅述，給出基金詳細表結構：
CREATE TABLE `fund_detail` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT, `fcode` varchar(10) NOT NULL DEFAULT '' COMMENT '基金代碼', `fdate` datetime DEFAULT NULL COMMENT '基金日期', `NAV` decimal(10,4) DEFAULT NULL COMMENT '單位凈值', `ACCNAV` decimal(10,4) DEFAULT NULL COMMENT '累計凈值', `DGR` varchar(20) DEFAULT NULL COMMENT '日增長率', `pstate` varchar(20) DEFAULT NULL COMMENT '申購狀態', `rstate` varchar(20) DEFAULT NULL COMMENT '贖回狀態', PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='基金詳細數據表';
更多關于Python相關內容可查看本站專題：《Python Socket編程技巧總結》、《Python正則表達式用法總結》、《Python數據結構與算法教程》、《Python函數使用技巧總結》、《Python字符串操作技巧匯總》、《Python入門與進階經典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設計有所幫助。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
