keras的get_value運行越來越慢如何解決

這篇文章主要介紹“keras的get_value運行越來越慢如何解決”的相關知識，小編通過實際案例向大家展示操作過程，操作方法簡單快捷，實用性強，希望這篇“keras的get_value運行越來越慢如何解決”文章能幫助大家解決問題。

問題描述

如上圖所示，經過時間和內存消耗跟蹤測試，發現是keras.backend.get_value() 函數導致的程序越來越慢，而且嚴重的造成內存泄露；

查看該函數內部實現，發現一個主要核心是x.eval(session=get_session()),該語句可能是導致內存泄露和運行慢的核心語句； 根據查看一些博文得到了運行得越來越慢的

原因：該x.eval函數會添加新的節點到tf的圖中；而這也導致了tf的圖越來越大，內存泄露；

解決方法

import tensorflow.keras.backend as K

def get_my_session(gpu_fraction=0.1):
    '''Assume that you have 6GB of GPU memory and want to allocate ~2GB'''

    num_threads = os.environ.get('OMP_NUM_THREADS')
    gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=gpu_fraction)

    if num_threads:
        return tf.Session(config=tf.ConfigProto(
            gpu_options=gpu_options, intra_op_parallelism_threads=num_threads))
    else:
        return tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))

K.set_session(get_my_session())

如上圖所示， 我在使用tensorflow之前(也就是該工程文件前面)，對session進行自定義，然后用自定義的session設定keras.backend.set_session();

然后刪除get_value() 函數，直接用get_value()中所使用的執行語句x.eval(session=get_my_session())；這樣這個添加節點導致內存泄露的核心語句x.eval()就使用的是該工程統一自定義session，然后用tf.reset_default_graph() 對圖重置就可以了

即上圖問題代碼修改為：

output = ctc_decode(y_pred,input_length=input_length,)
output = output[0][0]
out = output.eval(session=get_my_session())
# 刪除 K.get_value(out[0][0])
tf.reset_default_graph() # 然后重置tf圖，這句很關鍵

這樣就解決了get_value()導致的越來越慢的問題；

個人認為：這樣可能就不會總是添加新的節點，導致tf圖不斷地無限變大；而是重復使用這一個自定義的節點。

補充：tensorflow與keras之間版本問題引起get_session問題解決辦法

1.產生報錯原因

import tensorflow.keras.backend as K
def __init__(self, **kwargs):
    self.__dict__.update(self._defaults) # set up default values
    self.__dict__.update(kwargs) # and update with user overrides
    self.class_names = self._get_class()
    self.anchors = self._get_anchors()
    self.sess = K.get_session()

報錯如下：

get_session is not available when using TensorFlow 2.0.

意思是 tf2.0 沒有 get_session

2.解決方案1

import tensorflow.python.keras.backend as K
sess = K.get_session()

3. 解決方案2

import tensorflow as tf
sess = tf.compat.v1.keras.backend.get_session()

之前一直采用方案1 解決，感覺比較方便；但是解決方案1 有其它屬性會丟失問題

比如AttributeError: module ‘keras.backend' has no attribute image_dim_ordering

所以建議大家采用方案2

關于“keras的get_value運行越來越慢如何解決”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識，可以關注億速云行業資訊頻道，小編每天都會為大家更新不同的知識點。