您好,登錄后才能下訂單哦!
這篇文章主要介紹DataFrame基礎運算以及空值填充的案例分析,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!
我們可以計算兩個DataFrame的加和,pandas會自動將這兩個DataFrame進行數據對齊,如果對不上的數據會被置為Nan(not a number)。
首先我們來創建兩個DataFrame:
import numpy as npimport pandas as pddf1 = pd.DataFrame(np.arange(9).reshape((3, 3)), columns=list('abc'), index=['1', '2', '3'])df2 = pd.DataFrame(np.arange(12).reshape((4, 3)), columns=list('abd'), index=['2', '3', '4', '5'])復制代碼
得到的結果和我們設想的一致,其實只是通過numpy數組創建DataFrame,然后指定index和columns而已,這應該算是很基礎的用法了。
然后我們將兩個DataFrame相加,會得到:
我們發現pandas將兩個DataFrame加起來合并了之后,凡是沒有在兩個DataFrame都出現的位置就會被置為Nan。這其實是很有道理的,實際上不只是加法,我們可以計算兩個DataFrame的加減乘除的四則運算都是可以的。如果是計算兩個DataFrame相除的話,那么除了對應不上的數據會被置為Nan之外,除零這個行為也會導致異常值的發生(可能不一定是Nan,而是inf)。
如果我們要對兩個DataFrame進行運算,那么我們當然不會希望出現空值。這個時候就需要對空值進行填充了,我們直接使用運算符進行運算是沒辦法傳遞參數進行填充的,這個時候我們需要使用DataFrame當中為我們提供的算術方法。
DataFrame當中常用的運算符有這么幾種:
add、sub、p這些我們都很好理解,那么這里的radd、rsub方法又是什么意思呢,為什么前面要加上一個r呢?
看起來費解,但是說白了一文不值,radd是用來翻轉參數的。舉個例子,比如說我們希望得到DataFrame當中所有元素的倒數,我們可以寫成1 / df。由于1本身并不是一個DataFrame,所以我們不能用1來呼叫DataFrame當中的方法,也就不能傳遞參數,為了解決這種情況,我們可以把1 / df寫成df.rp(1),這樣我們就可以在其中傳遞參數了。
由于在算除法的過程當中發生了除零,所以我們得到了一個inf,它表示無窮大。
我們可以在add、p這些方法當中傳入一個fill_value的參數,這個參數可以在計算之前對于一邊出現缺失值的情況進行填充。也就是說對于對于只在一個DataFrame中缺失的位置會被替換成我們指定的值,如果在兩個DataFrame都缺失,那么依然還會是Nan。
我們對比下結果就能發現了,相加之后的(1, d), (4, c)以及(5, c)的位置都是Nan,因為df1和df2兩個DataFrame當中這些位置都是空值,所以沒有被填充。
fill_value這個參數在很多api當中都有出現,比如reindex等,用法都是一樣的,我們在查閱api文檔的時候可以注意一下。
那么對于這種填充了之后還出現的空值我們應該怎么辦呢?難道只能手動找到這些位置進行填充嗎?當然是不現實的,pandas當中還為我們提供了專門解決空值的api。
在填充空值之前,我們首先要做的是發現空值。針對這個問題,我們有isna這個api,它會返回一個bool型的DataFrame,DataFrame當中的每一個位置表示了原DataFrame對應的位置是否是空值。
當然只是發現是否是空值肯定是不夠的,我們有時候會希望不要空值的出現,這個時候我們可以選擇drop掉空值。針對這種情況,我們可以使用DataFrame當中的dropna方法。
我們發現使用了dropna之后,出現了空值的行都被拋棄了。只保留了沒有空值的行,有時候我們希望拋棄是的列而不是行,這個時候我們可以通過傳入axis參數進行控制。
這樣我們得到的就是不含空值的列,除了可以控制行列之外,我們還可以控制執行drop的嚴格程度。我們可以通過how這個參數來判斷,how支持兩種值傳入,一種是'all',一種是'any'。all表示只有在某一行或者是某一列全為空值的時候才會拋棄,any與之對應就是只要出現了空值就會拋棄。默認不填的話認為是any,一般情況下我們也用不到這個參數,大概有個印象就可以了。
pandas除了可以drop含有空值的數據之外,當然也可以用來填充空值,事實上這也是最常用的方法。
我們可以很簡單地傳入一個具體的值用來填充:
fillna會返回一個新的DataFrame,其中所有的Nan值會被替換成我們指定的值。如果我們不希望它返回一個新的DataFrame,而是直接在原數據進行修改的話,我們可以使用inplace參數,表明這是一個inplace的操作,那么pandas將會在原DataFrame上進行修改。
df3.fillna(3, inplace=True)復制代碼
除了填充具體的值以外,我們也可以和一些計算結合起來算出來應該填充的值。比如說我們可以計算出某一列的均值、最大值、最小值等各種計算來填充。fillna這個函數不僅可以使用在DataFrame上,也可以使用在Series上,所以我們可以針對DataFrame中的某一列或者是某些列進行填充:
除了可以計算出均值、最大最小值等各種值來進行填充之外,還可以指定使用缺失值的前一行或者是后一行的值來填充。實現這個功能需要用到method這個參數,它有兩個接收值,ffill表示用前一行的值來進行填充,bfill表示使用后一行的值填充。
我們可以看到,當我們使用ffill填充的時候,對于第一行的數據來說由于它沒有前一行了,所以它的Nan會被保留。同樣當我們使用bfill的時候,最后一行也無法填充。
以上是DataFrame基礎運算以及空值填充的案例分析的所有內容,感謝各位的閱讀!希望分享的內容對大家有幫助,更多相關知識,歡迎關注億速云行業資訊頻道!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。