中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

為什么我們生產上要選擇Spark On Yarn模式？

發布時間：2020-07-12 13:13:17 來源：網絡 閱讀：1032 作者：Stitch_x 欄目：大數據

為什么我們生產上要選擇Spark On Yarn？

開發上我們選擇local[2]模式
生產上跑任務Job，我們選擇Spark On Yarn模式 ，

將Spark Application部署到yarn中，有如下優點：

1.部署Application和服務更加方便

  • 只需要yarn服務，包括Spark，Storm在內的多種應用程序不要要自帶服務，它們經由客戶端提交后，由yarn提供的分布式緩存機制分發到各個計算節點上。

2.資源隔離機制

  • yarn只負責資源的管理和調度，完全由用戶和自己決定在yarn集群上運行哪種服務和Applicatioin，所以在yarn上有可能同時運行多個同類的服務和Application。Yarn利用Cgroups實現資源的隔離，用戶在開發新的服務或者Application時，不用擔心資源隔離方面的問題。

3.資源彈性管理

  • Yarn可以通過隊列的方式，管理同時運行在yarn集群種的多個服務，可根據不同類型的應用程序壓力情況，調整對應的資源使用量，實現資源彈性管理。

Spark On Yarn有兩種模式，一種是cluster模式，一種是client模式。

運行client模式：

  • “./spark-shell –master yarn”
  • “./spark-shell –master yarn-client”
  • “./spark-shell –master yarn –deploy-mode client”

運行的是cluster模式

  • “./spark-shell –master yarn-cluster”
  • “./spark-shell –master yarn –deploy-mode cluster”

client和cluster模式的主要區別：a. client的driver是運行在客戶端進程中b. cluster的driver是運行在Application Master之中

向AI問一下細節

免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。

AI
助
手
永仁县| 沈阳市| 吴堡县| 穆棱市| 余江县| 武隆县| 梁平县| 霍州市| 闵行区| 乌拉特后旗| 仁布县| 通化县| 德安县| 周宁县| 克什克腾旗| 河曲县| 忻城县| 邵阳市| 潞城市| 饶平县| 新绛县| 卫辉市| 门源| 云梦县| 江达县| 赞皇县| 鸡东县| 珠海市| 田林县| 嘉黎县| 金阳县| 合作市| 广灵县| 信宜市| 岳阳市| 宿州市| 衢州市| 阿拉善右旗| 长治市| 香格里拉县| 黄梅县|