您好,登錄后才能下訂單哦!
這篇文章主要介紹了spark運行時如何使用yarn分配資源并設置--num-executors參數,具有一定借鑒價值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。
運行時使用yarn分配資源,并設置--num-executors參數
nohup /home/SASadm/spark-1.4.1-bin-hadoop2.4/bin/spark-submit --name mergePartition --class main.scala.week2.mergePartition --num-executors 30 --master yarn mergePartition.jar >server.log 2>&1 &
感謝你能夠認真閱讀完這篇文章,希望小編分享的“spark運行時如何使用yarn分配資源并設置--num-executors參數”這篇文章對大家有幫助,同時也希望大家多多支持億速云,關注億速云行業資訊頻道,更多相關知識等著你來學習!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。