您好,登錄后才能下訂單哦!
這篇文章主要講解了“常用的python Pandas函數有哪些”,文中的講解內容簡單清晰,易于學習與理解,下面請大家跟著小編的思路慢慢深入,一起來研究和學習“常用的python Pandas函數有哪些”吧!
Pandas是一個python數據分析庫。它提供了許多函數和方法來加快數據分析過程。pandas之所以如此普遍,是因為它具有強大的功能,以及他簡單的語法和靈活性。
在這篇文章中,我將舉例來解釋20個常用的pandas函數。有些是很常見的,我敢肯定你以前用過。有些對你來說可能是新的。所有函數都將為你的數據分析過程增加價值。
import numpy as np import pandas as pd
我們有時需要根據條件過濾一個數據幀。過濾數據幀的一個簡單方法是query函數。讓我們首先創建一個示例數據幀。
values_1 = np.random.randint(10, size=10) values_2 = np.random.randint(10, size=10) years = np.arange(2010,2020) groups = ['A','A','B','A','B','B','C','A','C','C'] df = pd.DataFrame({'group':groups, 'year':years, 'value_1':values_1, 'value_2':values_2}) df
使用查詢函數非常簡單,只需要編寫過濾條件。
df.query('value_1 < value_2')
當我們想向dataframe添加一個新列時,默認情況下會在末尾添加它。但是,pandas提供了使用insert函數使得我們可以在任何位置添加新列。
我們需要通過傳遞索引作為第一個參數來指定位置。此值必須是整數。列索引從零開始,就像行索引一樣。第二個參數是列名,第三個參數是對象,這些對象可以是Series 或數組。
#新建列 new_col = np.random.randn(10) #在位置2插入新列 df.insert(2, 'new_col', new_col) df
數據幀包含3個不同組的年份值。我們可能只對某些情況下的累積值感興趣。Pandas提供了一個易于使用的函數來計算累計和,即cumsum。
如果我們只應用cumsum函數,group里的(A,B,C)將被忽略,因為我們無法區分不同的組。我們可以應用groupby和cumsum函數,這樣就可以區分出不同的組。
df['cumsum_2'] = df[['value_2','group']].groupby('group').cumsum() df
Sample方法允許你從序列或數據幀中隨機選擇值。當我們想從一個分布中選擇一個隨機樣本時,它很有用。
sample1 = df.sample(n=3) sample1
我們用n參數指定值的數目,但我們也可以將比率傳遞給frac參數。例如,0.5將返回一半的行。
sample2 = df.sample(frac=0.5) sample2
為了獲得可重復的樣本,我們可以使用隨機的狀態參數。如果將整數值傳遞給random_state,則每次運行代碼時都將生成相同的示例。
“Where”用于根據條件替換行或列中的值。默認的替換值是NaN,但是我們也可以指定替換的值。
df['new_col'].where(df['new_col'] > 0 , 0)
“where”的工作方式是選擇符合條件的值,其余值替換為指定值。
**where(df[‘new_col’]>0, 0)**選擇“new_col”中大于0的所有值,其余值替換為0。因此,這里也可以視為掩碼操作。
重要的一點是,Pandas 和Numpy的“where”并不完全相同。我們可以用稍微不同的語法來達到相同的效果。DataFrame.where按原數據選擇符合條件的值,其他值將替換為指定的值。Np.where還需要指定一個新數據。以下兩行返回相同的結果:
df['new_col'].where(df['new_col'] > 0 , 0) np.where(df['new_col'] < 0, df['new_col'], 0)
在處理數據幀時,我們經常使用過濾或選擇方法。Isin方法是一種先進的過濾方法。例如,我們可以根據選擇列表過濾值。
years = ['2010','2014','2017'] df[df.year.isin(years)]
Loc和iloc用于選擇行和列。
loc:按標簽選擇
iloc:按位置選擇
loc用于按標簽選擇數據。列的標簽是列名。行標簽要分情況,如果我們不分配任何特定的索引,pandas默認創建整數索引。iloc 按位置索引數據
使用iloc選擇前3行和前2列:
使用loc選擇前3行和前2列:
注:當使用loc時,切片得到的結果包括索引的邊界,而使用iloc則不包括這些邊界。
此函數用于計算一系列值的變化百分比。假設我們有一個包含[2,3,6]的序列。如果我們對這個序列應用pct_change,則返回的序列將是[NaN,0.5,1.0]。
從第一個元素到第二個元素增加了50%,從第二個元素到第三個元素增加了100%。Pct_change函數用于比較元素時間序列中的變化百分比。
df.value_1.pct_change()
Rank函數為值分配序。假設我們有一個包含[1,7,5,3]的序列s。分配給這些值的序為[1,4,3,2]。可以用這些序作排序操作
df['rank_1'] = df['value_1'].rank() df
Melt用于將寬數據幀轉換為窄數據幀。我所說的wide是指具有大量列的數據幀。
一些數據幀的結構是連續的度量或變量用列表示。在某些情況下,將這些列表示為行可能更適合我們的任務。考慮以下數據幀:
我們有三個不同的城市,在不同的日子進行測量。我們決定將這些日子表示為列中的行。還將有一列顯示測量值。我們可以通過使用Melt函數輕松實現:
df_wide.melt(id_vars=['city'])
默認情況下,會給出變量和值列名。我們可以使用melt函數的var_name和value_name參數來指定新的列名。
假設你的數據集在一個觀測(行)中包含一個要素的多個條目,但你希望在單獨的行中分析它們。
我們想在不同的行上看到“day"1在ID為c上的測量值,用explode來完成。
df1.explode('measurement').reset_index(drop=True)
Nunique統計列或行上的唯一條目數。它在分類特征中非常有用,特別是在我們事先不知道類別數量的情況下。讓我們看看我們的初始數據幀:
df.year.nunique() 10 df.group.nunique() 3
我們可以直接將nunique函數應用于dataframe,并查看每列中唯一值的數量:
如果axis參數設置為1,nunique將返回每行中唯一值的數目。
它可以用于根據其他行-列對上的值在數據幀中查找值。假設我們有以下數據幀:
每天,我們有4個人的測量數據和一個列,其中包括這4個人的名字。
我們要創建一個新列,該列顯示“person”列中人員對應他們的度量。因此,對于第一行,新列中的值將是4(“Alex”列中的值)。
df['Person_point'] = df.lookup(df.index, df['Person']) df
Pandas支持廣泛的數據類型,其中之一就是object。對象包含文本或混合(數字和非數字)值。
但是,如果有其他選項可用,則不建議使用對象數據類型。使用更具體的數據類型,某些操作執行得更快。例如,對于數值,我們更喜歡使用整數或浮點數據類型。
infer_objects嘗試為對象列推斷更好的數據類型。考慮以下數據幀:
df2.dtypes A object B object C object D object dtype: object
所有的數據類型都是object。讓我們看看推斷的數據類型是什么:
df2.infer_objects().dtypes A int64 B float64 C bool D object dtype: object
它可能看起來沒什么用,但在有很多列時絕對有用。
Memory_usage返回每行使用的內存量(以字節為單位)。它非常有用,尤其是當我們處理大型數據幀時。考慮下面的數據幀,其中有一百萬行。
df_large = pd.DataFrame({'A': np.random.randn(1000000), 'B': np.random.randint(100, size=1000000)}) df_large.shape (1000000, 2)
以及每列的內存使用情況(以字節為單位):
df_large.memory_usage() Index 128 A 8000000 B 8000000 dtype: int64
整個數據幀的內存使用量(MB):
df_large.memory_usage().sum() / (1024**2) 15.2589111328125
描述函數計算數字列的基本統計信息,這些列包括計數、平均值、標準差、最小值和最大值、中值、第一個和第三個四分位數。因此,它提供了數據幀的統計摘要。
Merge()根據共享列中的值組合數據幀。考慮以下兩個數據幀。
我們可以根據列中的共享值合并它們。設置合并條件的參數是“on”參數。
df1和df2是基于column_a中的公共值進行合并的,merge函數的how參數允許以不同的方式組合數據幀。“內部”、“外部”、“左側”、“右側”的可能值。
inner:僅在on參數指定的列中具有相同值的行(how參數的默認值)
outer:所有行
left:左數據幀中的所有行
right:右數據幀中的所有行
類似于sql語句中的join
Select_dtypes函數根據對數據類型設置的條件返回數據幀列的子集。它允許使用include和exlude參數包含或排除某些數據類型。
df.select_dtypes(include='int64')
df.select_dtypes(exclude='int64')
顧名思義,它允許替換數據幀中的值。
df.replace('A', 'A_1')
第一個參數是要替換的值,第二個參數是新值。
我們也可以在一個字典中同時進行多個替換。
df.replace({'A':'A_1', 'B':'B_1'})
Applymap函數用于將函數應用于dataframe元素。
請注意,如果操作的向量化版本可用,那么它應該優先于applymap。例如,如果我們想將每個元素乘以一個數字,我們不需要也不應該使用applymap函數。在這種情況下,簡單的向量化操作(例如df*4)要快得多。
然而,在某些情況下,我們可能無法選擇向量化操作。例如,我們可以使用pandas dataframes的Style屬性來更改dataframe的樣式。以下函數將負值的顏色更改為紅色。
def color_negative_values(val): color = 'red' if val < 0 else 'black' return 'color: %s' % color
我們需要使用applymap函數將此函數應用于數據幀。
df3.style.applymap(color_negative_values)
感謝各位的閱讀,以上就是“常用的python Pandas函數有哪些”的內容了,經過本文的學習后,相信大家對常用的python Pandas函數有哪些這一問題有了更深刻的體會,具體使用情況還需要大家實踐驗證。這里是億速云,小編將為大家推送更多相關知識點的文章,歡迎關注!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。