Python遍歷pandas數據方法總結

前言

Pandas是python的一個數據分析包，提供了大量的快速便捷處理數據的函數和方法。其中Pandas定義了Series 和 DataFrame兩種數據類型，這使數據操作變得更簡單。Series 是一種一維的數據結構，類似于將列表數據值與索引值相結合。DataFrame 是一種二維的數據結構，接近于電子表格或者mysql數據庫的形式。

在數據分析中不可避免的涉及到對數據的遍歷查詢和處理，比如我們需要將dataframe兩列數據兩兩相除，并將結果存儲于一個新的列表中。本文通過該例程介紹對pandas數據遍歷的幾種方法。

for..in循環迭代方式

for語句是Python內置的迭代器工具，用于從可迭代容器對象（如列表、元組、字典、集合、文件等）中逐個讀取元素，直到容器中沒有更多元素為止，工具和對象之間只要遵循可迭代協議即可進行迭代操作。
具體的迭代的過程：可迭代對象通過__iter__方法返回迭代器，迭代器具有__next__方法，for循環不斷地調用__next__方法，每次按序返回迭代器中的一個值，直到迭代到最后，沒有更多元素時拋出異常StopIteration（python自動處理異常）。迭代的優點是無需把所有元素一次加載到內存中，可以在調用next方法時逐個返回元素，避免出現內存空間不夠的情況。

>>> x = [1,2,3]
>>> its = x.__iter__() #列表是可迭代對象，否則會提示不是迭代對象
>>> its
<list_iterator object at 0x100f32198>
>>> next(its) # its包含此方法，說明its是迭代器
1
>>> next(its) 
2
>>>next(its) 
3
>>> next(its) 
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
StopIteration

實現代碼如下：

def haversine_looping(df):
disftance_list = []
for i in range(0,len(df)):
 disftance_list.append(df.iloc[i][‘high']/df.iloc[i][‘open'])
 return disftance_list

關于上述代碼中range的實現方法，我們也可根據迭代器協議自實現相同功能的迭代器（自帶iter方法和next方法）應用在for循環中，代碼如下：

class MyRange:
 def __init__(self, num):
  self.i = 0
  self.num = num
 def __iter__(self):
  return self
 def __next__(self):
  if self.i < self.num:
  i = self.i
  self.i += 1
  return i
  else:
  raise StopIteration()
 for i in MyRange(10):
 print(i) 

我們也可以通過列表解析的方式用更少的代碼實現數據處理功能

disftance_list = [df.iloc[i][‘high']/df.iloc[i][‘open'] for i in range(0,len(df))]

iterrows()生成器方式

iterrows是對dataframe行進行迭代的一個生成器，它返回每行的索引及包含行本身的對象。所謂生成器其實是一種特殊的迭代器，內部支持了迭代器協議。Python中提供生成器函數和生成器表達式兩種方式實現生成器，每次請求返回一個結果，不需要一次性構建一個結果列表，節省了內存空間。

生成器函數：編寫為常規的def語句，但是使用yield語句一次返回一個結果，在每個結果之間掛起和繼續它們的狀態。

def gensquares(N):
 for i in range(N):
 yield i**2 
print gensquares(5)
for i in gensquares(5):
 print(i) 

<generator object gensquares at 0xb3d37fa4>
0
1
4
9
16

生成器表達式：類似列表解析，按需產生結果的一個對象。

print (x**2 for x in range(5))
print list(x**2 for x in range(5))
<generator object <genexpr> at 0xb3d31fa4>
[0, 1, 4, 9, 16]

iterrows()實現代碼如下：

def haversine_looping(df):
disftance_list = []
for index,row in df.iterrows():
 disftance_list.append(row[‘high']/row[‘open'])
 return disftance_list

iterrows代碼如下，yield語句掛起該函數并向調用者發送回一組值：

def iterrows(self):
 columns = self.columns
 klass = self._constructor_sliced
 for k, v in zip(self.index, self.values):
  s = klass(v, index=columns, name=k)
  yield k, s

apply()方法循環方式

apply()方法可將函數應用于dataframe特定行或列。函數由lambda方式在代碼中內嵌實現，lambda函數的末尾包含axis參數，用來告知Pandas將函數運用于行（axis = 1）或者列（axis = 0）。

實現代碼如下：

df.apply(lambda row: row[‘high']/row[‘open'], axis =1)

Pandas series 的矢量化方式

Pandas的DataFrame、series基礎單元數據結構基于鏈表，因此可將函數在整個鏈表上進行矢量化操作，而不用按順序執行每個值。Pandas包括了非常豐富的矢量化函數庫，我們可把整個series（列）作為參數傳遞，對整個鏈表進行計算。

實現代碼如下：

dftest4['rate'] = dftest4['high']/dftest4['open'] 

Numpy arrays的矢量化方式

由于函數的矢量化實現中只使用了series的數值，因此可使用values 方法將鏈表從Pandas series轉換為NumPy arrays，把NumPy array作為參數傳遞，對整個鏈表進行計算。

實現代碼如下：

dftest5['rate'] = dftest5['high'].values/dftest5['open'].values 

總結

使用timeit方法對以上幾種遍歷方式進行執行時間測試，測試結果如下。可以看出循環執行的速度是最慢的，iterrows()針對Pandas的dataframe進行了優化，相比直接循環有顯著提升。apply()方法也是在行之間進行循環，但由于利用了類似Cython的迭代器的一系列全局優化，其效率要比iterrows高很多。NumPy arrays的矢量化運行速度最快，其次是Pandas series矢量化。由于矢量化是同時作用于整個序列的，可以節省更多的時間，相比使用標量操作更好，NumPy使用預編譯的C代碼在底層進行優化，同時也避免了Pandas series操作過程中的很多開銷，例如索引、數據類型等等，因此，NumPy arrays的操作要比Pandas series快得多。