Python如何使用期物處理并發

這篇文章主要為大家展示了“Python如何使用期物處理并發”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“Python如何使用期物處理并發”這篇文章吧。

本文重點：

      1、掌握異步編程的相關概念；

      2、了解期物future的概念、意義和使用方法；

      3、了解Python中的阻塞型I/O函數釋放GIL的特點。

一、異步編程相關概念

阻塞：程序未得到所需計算資源時被掛起的狀態。換句話說，程序在等待某個操作完成期間，自身無法繼續干別的事情，則稱該程序在該操作上是阻塞的。

并發：描述的是程序的組織結構。指程序要被設計成多個可獨立執行的子任務。并發以利用有限的計算機資源使多個任務可以被實時或近實時執行為目的。

并行：指的是多任務同時執行的程序狀態，以利用多核CPU加速完成多任務為目的。

異步：為完成某個任務，不同程序單元之間過程中無需通信協調，也能完成任務的方式。

不相關的程序單元之間可以是異步的。簡言之，異步意味著無序。

異步編程：以進程、線程、協程、函數/方法作為執行任務的基本單位，結合回調，事件循環、信號量等機制，以提高整體執行效率和并發能力的編程方式。

二、期物

就下載國旗為目標實現的三個客戶端中，兩個HTTP并發客戶端比依序下載的腳本性能高很多。

由此說明使用并發可以高效處理網絡I/O。

期物(future)指一種對象，表示異步執行的操作。

期物對象：concurrent.futures.Future或asyncio.Future類的實例。

三大方法：

• Executor.submit()：創建期物。

• concurrent.futures.as_completed()：迭代運行結束的期物，返回一個迭代器。

• Executor.map(): 處理參數不同的同一個可調用對象。

小結：Executor.submit()加futures.as_completed()的組合比Executor.map()更靈活，因為submit()能處理不同的可調用對象和參數。

concurrent.futures模塊的主要特色是ThreadPoolExecutor和ProcessPoolExecutor類，這兩個類實現的接口能分別在不同的線程或進程中執行可調用的對象。

注意：通常情況下自己不應該創建期物，而只能由并發框架(concurrent.futures或asyncio)實例化。

實例：concurrent.futures模塊應用

from concurrent import futures
from flags import save_flag, get_flag, show, main
MAX_WORKERS = 20
def download_one(cc): 
  image = get_flag(cc)
  show(cc)
  save_flag(image, cc.lower() + '.gif')
  return cc
def download_many(cc_list):
  workers = min(MAX_WORKERS, len(cc_list)) 
  with futures.ThreadPoolExecutor(workers) as executor: 
    res = executor.map(download_one, sorted(cc_list)) 
  return len(list(res))
if __name__ == '__main__':
  main(download_many)

三、阻塞性I/O與GIL

Python標準庫中所有阻塞型I/O函數都會釋放全局解釋器鎖（GIL），允許其他線程運行。

因此盡管有GIL，Python線程仍然適合在I/O密集型系統使用。

四、線程和多進程的替代方案

對CPU密集型工作來說，要啟動多個進程，規避GIL。

創建多進程最簡單的方式是使用futures.ProcessPoolExecutor類。

threading和multiprocessing模塊：是Python中多線程和多進程并發的低層實現。

以上是“Python如何使用期物處理并發”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！