中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

task分配算法核心原理描述

發布時間:2020-07-06 06:39:31 來源:網絡 閱讀:510 作者:惡魔蘇醒ing 欄目:開發技術
  1. 把stage生成的每個task創建一個taskset對象

  2. 雙重for循環,遍歷所有taskset,以及每種本地化級別

  3. 本地化級別有:

    1.process_local:進程本地化RDD的partition和task進入同一個executor中,速度最快

    2.node_local:RDD的partition和task不在一個executor上,但是在一個worker上

    3.NO_PERF:沒有所謂的本地化級別

    4.RACK_LOCAL:機架本地化,至少RDD的partition和task在一個機架上

    5.任意本地化級別

  4. task優先選擇最優的本地化級別

  5. 調用tasksetmanager的resourceOffer方法,去找到在這個executor上,哪些task可以啟動,

  6. 放入taskset數組給指定的executor啟動task

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

安龙县| 北票市| 加查县| 灵石县| 儋州市| 霍林郭勒市| 长兴县| 东乡县| 青神县| 安丘市| 门头沟区| 利津县| 神池县| 石泉县| 德昌县| 泰安市| 太保市| 博爱县| 乌鲁木齐市| 拜泉县| 昌吉市| 武川县| 泗水县| 枝江市| 大厂| 柳河县| 禄丰县| 新平| 丰镇市| 筠连县| 措勤县| 白山市| 吉林省| 余干县| 柘荣县| 施甸县| 新龙县| 沂南县| 平潭县| 安平县| 正定县|