大數據開發中itertools.chain()函數怎么用

這篇文章主要介紹了大數據開發中itertools.chain()函數怎么用，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

你想在多個對象執行相同的操作，但是這些對象在不同的容器中，你希望代碼在不失可讀性的情況下避免寫重復的循環

from itertools import chain 
a = [1, 2, 3, 4] 
b = ['x', 'y', 'z'] 
for x in chain(a, b): 
    print(x) 
1 
2 
3 
4 
x 
y 
z

好處：如果采用a+b的方式遍歷，那么要求a和b的類型一致，如果數據再大一點會，會消耗內存，而chain是通過創建迭代器，依次返回可迭代對象的元素

如何把一個 itertools.chain 對象轉換為一個數組

list_of_numbers = [[1, 2], [3], []]
import itertools
chain = itertools.chain(*list_of_numbers)

第一種比較簡單，直接采用 list 方法，如下所示：

list(chain)

但缺點有兩個：

• 會在外層多嵌套一個列表

• 效率并不高

第二個就是利用 numpy 庫的方法 np.fromiter ，示例如下：

>>> import numpy as np
>>> from itertools import chain
>>> list_of_numbers = [[1, 2], [3], []]
>>> np.fromiter(chain(*list_of_numbers), dtype=int)
array([1, 2, 3])

對比兩種方法的運算時間，如下所示：

>>> list_of_numbers = [[1, 2]*1000, [3]*1000, []]*1000
>>> np.fromiter(chain(*list_of_numbers), dtype=int)
10 loops, best of 3: 103 ms per loop
>>> np.array(list(chain(*list_of_numbers)))
1 loops, best of 3: 199 ms per loop

可以看到采用 numpy 方法的運算速度會更快。

感謝你能夠認真閱讀完這篇文章，希望小編分享的“大數據開發中itertools.chain()函數怎么用”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!