溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本篇內容主要講解“如何遠程提交Spark應用到集群”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“如何遠程提交Spark應用到集群”吧!
介紹如何在集群之外提交Spark任務到集群。
Spark目前支持三種集群，分別是Spark自實現的standalone集群、mesos集群和YARN集群。
使用standalone集群，提交應用時使用–master參數指定集群地址，如 --master spark://masternode:7077
所以只需要有spark的客戶端，可以很方便的遠程提交應用到指定的集群。
使用mesos集群，同樣是指定–master參數為集群地址，如 --master mesos://master66:5050。這種形式和standalone集群很相似，也可以很方便的通過遠程來提交應用。
使用YARN集群，–master參數指定為YARN，但是要求預先設置HADOOP_CONF_DIR或者YARN_CONF_DIR的環境變量，這個環境變量指向hadoop相關配置的目錄。spark客戶端會讀取并解析其中的配置文件，并使用其中的配置信息來連接集群管理器。
如果要在遠程提交應用到Yarn集群，最簡單的方式就是從集群把這些配置下載下來，然后配置環境變量。
具體可以參考資料：
Remote Spark Jobs on YARN
Spark submit YARN mode HADOOP_CONF_DIR contents
How to submit a spark job on a remote master node in yarn client mode?
我想，或許我們可以找出spark需要的配置項，然后通過命令行的方式來指定，而不用通過配置目錄的環境變量，這樣我可以靈活的切換不同的集群，而我確實有這個需要。
這一個方向還有待探索。
在windows系統提交應用的示例：
1 | set HADOOP_CONF_DIR=E:LOCALCLUSTERSERVICE-HADOOP-a1e7b238d7f044d6b70185654c855c52 & |
到此，相信大家對“如何遠程提交Spark應用到集群”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
