如何解決Tensorflow內存泄露的問題

這篇文章主要為大家展示了“如何解決Tensorflow內存泄露的問題”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“如何解決Tensorflow內存泄露的問題”這篇文章吧。

使用tensorflow進行編程時，經常遇到操作不當，帶來的內存泄露問題，這里有一個可以幫助debug問題所在方法：

https://stackoverflow.com/questions/51175837/tensorflow-runs-out-of-memory-while-computing-how-to-find-memory-leaks/51183870#51183870

使用tf.Graph.finalize()把運算圖變成只讀的，從而對圖的修改都會報錯，從而找到內存泄露的定點。

目前我出現過內存泄露問題的有兩處：

1.

session和graph沒有釋放內存。按照資料的說法，使用了with關鍵字可以在session異常退出時也釋放內存，否則要用session.close()關閉session。代碼如下：

with tf.Session() as session:
  #codes

#一般使用with以后就會釋放內存，否則運行如下釋放
session.close()
del session

另一方面，我是在session中加載graph（訓練好的模型），導致每次關閉程序再運行，graph出現重復加載的現象。錯誤代碼示例：

with tf.Seesion() as session:
  # 在session內部加載保存好的graph
  saver = tf.train.import_meta_graph('./CNN_cracks.meta')
  saver.restore(session, "./CNN_cracks")
  # codes

此處，在一次運行session時會加載一次graph，一次運行的時候沒問題，但多次運行（調試時），每次graph都會加載到內存而不被釋放，因而造成內存泄露。

正確的做法如下：

# 用with新建一個graph，這樣在運行完以及異常退出時就會釋放內存
graph = tf.Gragh()
with graph.as_default():
  saver = tf.train.import_meta_graph('./CNN_cracks.meta')

with tf.Session(graph=graph) as session:
  saver.restore(session, "./CNN_cracks")

2.

一些tensorflow的運算似乎也會修改圖，原因未明。所以在在訓練里面把所有屬于tensorflow的運算都寫進去，運行session.run返回的只能是只讀。

##錯誤代碼

#訓練
graph = tf.Graph()
with graph.as_default():
  #codes
  predict = tf.nn.softmax(model(data))

#預測，這里訓練文件與預測文件是分離的
with tf.Session(graph=graph) as session:
  #codes
  predict = session.run(predict, feed_dict={data: block})
  prediction = tf.argmax(predict, -1) #這里會對圖進行修改

##正確代碼

#訓練
graph = tf.Graph()
with graph.as_default():
  #codes
  predict = tf.argmax(tf.nn.softmax(model(data)), -1)

#預測
with tf.Session(graph=graph) as session:
  #codes
  prediction = session.run(predict, feed_dict={data: block})

以上是“如何解決Tensorflow內存泄露的問題”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！