Flink新內存模型是什么

本篇內容介紹了“Flink新內存模型是什么”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

Flink新內存模型

將Flink從1.7.2升級到1.10.0時出現各種內存溢出問題，Flink1.10提出了全新的內存模型，使用新版Flink理解新的內存模型是必須。對于老的flink我們一般只需配置taskmanager.heap.size，對于standalone cluster來說這個配置只配置了堆內存，而堆外內存在taskmanager.sh中被配成了一個相當大的數。

 TM_MAX_OFFHEAP_SIZE="8388607T"
 export JVM_ARGS="${JVM_ARGS} -Xms${TM_HEAP_SIZE}M -Xmx${TM_HEAP_SIZE}M -XX:MaxDirectMemorySize=${TM_MAX_OFFHEAP_SIZE}"

而對于yarn cluster來說這個配置項代表的又是整個container的內存。因此，整理并提出一個新的內存規范的確是有必要的。

TaskManager

TaskManager總內存有2種配置方式total process memory和total flink memory，其中total process memory = total flink memory + jvm運行自身占用內存，例如metaspace。其中total process memory適合在容器環境下使用，對應配置項為taskmanager.memory.process.size，而total flink memory適合在standalone下使用，對應配置項為taskmanager.memory.flink.size。

total flink memory = heap + off-heap。heap被稱為堆內存，而off-heap在這里指不是堆內存的內存，這里不稱為堆外或者非堆，是為了和這些模糊的概念劃清界限。

heap = task heap + framework heap，即用戶代碼使用的堆內存和flink框架本身使用的堆內存。這部分內存對應的jvm參數最終為-Xmx和-Xms，因此實際上task heap和framework heap是沒有隔離的。

off-heap=managed memory + direct memory。managed memory是由Flink用Unsafe類創建的，不受JVM管控。流job中這部分內存可用于狀態后端，例如rocksdb的內存；批job這部分內存可用于排序，緩存中間結果等。managed memory也就是slot均分的那個內存（slot的內存隔離其實只有這一部分而已），因此是按slot隔離的。direct memory就是我們平常所說的堆外內存：java.nio.DirectByteBuffer，這部分內存也由Unsafe類創建的，照理也不受JVM控制，但是在JDK代碼里使用了-XX:MaxDirectMemorySize對其進行了大小上的管控。java.nio.Bits#tryReserveMemory中限制了大小。direct memory對應的JVM參數為-XX:MaxDirectMemorySize。

private static boolean tryReserveMemory(long size, int cap) {

    // -XX:MaxDirectMemorySize limits the total capacity rather than the
    // actual memory usage, which will differ when buffers are page
    // aligned.
    long totalCap;
    while (cap <= maxMemory - (totalCap = totalCapacity.get())) {
        if (totalCapacity.compareAndSet(totalCap, totalCap + cap)) {
            reservedMemory.addAndGet(size);
            count.incrementAndGet();
            return true;
        }
    }

    return false;
}

direct memory = framework off-heap + task off-heap+ network。其中network會在初始化時分配，可以視為和前2部分是隔離的，而前2部分之間是沒有隔離的。

taskmanager.memory.jvm-metaspace.size是用來設置metaspace的，對應的JVM參數是-XX:MaxMetaspaceSize。Flink1.10新增了cluster.evenly-spread-out-slots配置，開啟后job的slot會在TaskManager上均分，對于standalone cluster來說每個TaskManager需要加載的job就會變多，類加載變多需要更大的metaspace空間。 TaskManager內存模型如下圖：

JobManager

Flink1.11又提出了新的JobManager內存模型來規范JobManager的設置。JobManager的內存設置相對于TaskManager簡單的多，在理解了TaskManager內存模型后在看JobManager的內存模型就簡單的多了。

JobManager內存模型如下圖：

“Flink新內存模型是什么”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！