溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章運用簡單易懂的例子給大家介紹python 進程池pool的使用方法，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。
和選用線程池來關系多線程類似，當程序中設置到多進程編程時，Python 提供了更好的管理多個進程的方式，就是使用進程池。
在利用 Python 進行系統管理的時候，特別是同時操作多個文件目錄，或者遠程控制多臺主機，并行操作可以節約大量的時間。
當被操作對象數目不大時，可以直接利用 multiprocessing 中的 Process 動態生成多個進程，十幾個還好，但如果是上百個，上千個目標，手動的去限制進程數量卻又太過繁瑣，此時可以發揮進程池的功效。
Pool可以提供指定數量的進程供用戶調用，當有新的請求提交到 pool 中時，如果進程池還沒有滿，那么就會創建一個新的進程用來執行該請求；但如果池中的進程數已經達到規定最大值，那么該請求就會等待，直到池中有進程結束，才會創建新的進程來它。
Python multiprocessing 模塊提供了 Pool() 函數，專門用來創建一個進程池，該函數的語法格式如下：
multiprocessing.Pool( processes )
其中，processes 參數用于指定該進程池中包含的進程數。
如果進程是 None，則默認使用 os.cpu_count() 返回的數字（根據本地的 cpu 個數決定，processes 小于等于本地的 cpu 個數）。
請看下面的實例：
from multiprocessing import Pool
import os
import time
import random
def worker(msg):
t_start = time.time()
print("%s開始執行,進程號為%d" % (msg, os.getpid()))
# random.random()隨機生成0~1之間的浮點數
time.sleep(random.random()*2)
t_stop = time.time()
print(msg, "執行完畢，耗時%0.2f" % (t_stop-t_start))
if __name__ == "__main__":
po = Pool(3) # 定義一個進程池，最大進程數3
for i in range(0, 8):
# Pool().apply_async(要調用的目標,(傳遞給目標的參數元祖,))
# 每次循環將會用空閑出來的子進程去調用目標
po.apply_async(worker, (i,))
print("----start----")
# 關閉進程池，關閉后po不再接收新的請求
po.close()
# 等待po中所有子進程執行完成，必須放在close語句之后
po.join()
print("-----end-----")運行結果：
multiprocessing.Pool 常用方法說明
apply_async(func[, args[, kwds]]) ：使用非阻塞方式調用 func（并行執行，堵塞方式必須等待上一個進程退出才能執行下一個進程），args 為傳遞給 func 的參數列表，kwds 為傳遞給 func 的關鍵字參數列表。
close()：關閉 Pool，使其不再接受新的任務。
terminate()：不管任務是否完成，立即終止。
join()：主進程阻塞，等待子進程的退出， 必須在 close 或 terminate 之后使用。
進程池中的 Queue
如果要使用 Pool 創建進程，就需要使用 multiprocessing.Manager() 中的 Queue()，而不是 multiprocessing.Queue()，否則會得到一條如下的錯誤信息：
RuntimeError: Queue objects should only be shared between processes through inheritance.
下面的實例演示了進程池中的進程如何通信：
from multiprocessing import Manager, Pool
import os
import time
import random
def writer(q):
print("writer啟動(%s),父進程為(%s)" % (os.getpid(), os.getppid()))
for i in "xiaoming":
q.put(i)
def reader(q):
print("reader啟動(%s),父進程為(%s)" % (os.getpid(), os.getppid()))
for i in range(q.qsize()):
print("reader從Queue獲取到消息：%s" % q.get(True))
if __name__ == "__main__":
print("(%s) start" % os.getpid())
# 使用Manager中的Queue
q = Manager().Queue()
po = Pool()
po.apply_async(writer, (q,))
# 先讓上面的任務向Queue存入數據，然后再讓下面的任務開始從中取數據
time.sleep(1)
po.apply_async(reader, (q,))
po.close()
po.join()
print("(%s) End" % os.getpid())運行結果：
(17528) start writer啟動(2216),父進程為(17528) reader啟動(2216),父進程為(17528) reader從Queue獲取到消息：x reader從Queue獲取到消息：i reader從Queue獲取到消息：a reader從Queue獲取到消息：o reader從Queue獲取到消息：m reader從Queue獲取到消息：i reader從Queue獲取到消息：n reader從Queue獲取到消息：g (17528) End
關于python 進程池pool的使用方法就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
