如何在python多進程中復制內存

這篇文章主要介紹了如何在python多進程中復制內存，億速云小編覺得不錯，現在分享給大家，也給大家做個參考，一起跟隨億速云小編來看看吧！

python是什么意思

Python是一種跨平臺的、具有解釋性、編譯性、互動性和面向對象的腳本語言，其最初的設計是用于編寫自動化腳本，隨著版本的不斷更新和新功能的添加，常用于用于開發獨立的項目和大型項目。

舉個例子，假設主進程讀取了一個大文件對象的所有行，然后通過multiprocessing創建工作進程，并循環地將每一行數據交給工作進程來處理：

def parse_lines(args):
 #working
 ...
def main_logic():
 f = open(filename , 'r')
 lines = f.readlines()
 f.close()
 pool = multiprocessing.Pool(processes==4)
 rel = pool.map(parse_lines , itertools.izip(lines , itertools.repeat(second_args)) , int(len(lines)/4))
 pool.close()
 pool.join()

以下是top及ps結果：

(四個子進程)

(父進程及四個子進程)

由上兩張圖可以看出父進程及子進程都各自占用了1.4G左右的內存空間。而大部分內存空間存儲的是讀數據lines，所以這樣的內存開銷太浪費。

優化計劃

1: 在主進程初期未導入大量的py庫之前創建進程，或者動態加載py庫。

2:通過內存共享來減少內存的開銷。

3: 主進程不再讀取文件對象，交給每個工作進程去讀取文件中的相應部分。

改進代碼：

def line_count(file_name):
 count = -1 #讓空文件的行號顯示0
 for count,line in enumerate(open(file_name)): pass
 #enumerate格式化成了元組,count就是行號,因為從0開始要+1
 return count+1
def parse_lines(args):
 f = open(args[0] , 'r')
 lines = f.readlines()[args[1]:args[2]] #read some lines
 f.close() 
 #working
def main_logic(filename,process_num):
 line_count = line_count(filename)
 avg_len = int(line_count/process_num)
 left_cnt = line_count%process_num;
 pool = multiprocessing.Pool(processes=process_num)
 for i in xrange(0,process_num):
  ext_cnt = (i>=process_num-1 and [left_cnt] or [0])[0]
  st_line = i*avg_len
  pool.apply_async(parse_lines, ((filename, st_line, st_line+avg_len+ext_cnt),)) #指定進程讀某幾行數據
 pool.close()
 pool.join()

再次用top或者ps來查看進程的內存使用情況：

(四個子進程)

以上就是億速云小編為大家收集整理的如何在python多進程中復制內存，如何覺得億速云網站的內容還不錯，歡迎將億速云網站推薦給身邊好友。