中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

運行在YARN上的計算框架有什么作用

發布時間:2021-11-17 16:10:26 來源:億速云 閱讀:195 作者:iii 欄目:web開發

本篇內容主要講解“運行在YARN上的計算框架有什么作用”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“運行在YARN上的計算框架有什么作用”吧!

1. 將框架運行在YARN上帶來的好處

隨著YARN的的成熟和穩定,各類應用程序可以運行在一個YARN集群中進行統一資源管理和調度,這樣帶來的變化如下:

(1)應用程序部署變得更加簡單

管理員只需部署YARN服務即可,各類應用程序框架不再自帶服務,無需實現部署,它們已經變成了客戶端編程庫(library),由YARN提供的分布式緩存機制分發到各個節點上;

(2)服務部署變得簡單

用戶可以通過運行一個應用程序的方式部署一套服務,比如Storm服務,至于jar包拷貝等工作,完全由YARN自動完成,部署完成后,用戶像使用普通的Storm集群那樣使用Storm-On-YARN

(3)多版本共享集群資源(簡單的隔離)

由于YARN只負責資源管理和調度,至于其上運行什么應用或者服務,完全由用戶自己決定,這使得用戶可在YARN上運行多個同類服務實例,比如運行 多個Storm實例供不同類型的應用,YARN本身可以為這些實例提供隔離機制(Cgroups)。有了YARN之后,用戶開發新的框架或者應用程序時, 可不必在考慮資源隔離問題。

(4)資源彈性管理

由于多類應用運行在一個YARN集群中,比如離線計算、實時計算、DAG計算等,YARN可根據不同類型的應用程序壓力情況,調整對應的資源使用量,實現資源彈性管理。

2. 目前可運行在YARN上的計算框架

運行在YARN上的框架,包括MapReduce-On-YARN, Spark-On-YARN, Storm-On-YARN和Tez-On-YARN。

(1)MapReduce-On-YARN:YARN上的離線計算,YARN發行版中自帶該實現,隨著YARN的穩定,MRv1運行方式會被淘汰;

(2)Spark-On-YARN:YARN上的內存計算;

(3)Storm-On-YARN:YARN上的實時/流式計算;

(4)Tez-On-YARN:YARN上的DAG計算

到此,相信大家對“運行在YARN上的計算框架有什么作用”有了更深的了解,不妨來實際操作一番吧!這里是億速云網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續學習!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

宁都县| 高唐县| 九龙城区| 常德市| 松桃| 甘孜| 积石山| 汉川市| 博白县| 眉山市| 宁陵县| 雷山县| 会同县| 宝应县| 潞城市| 叙永县| 邵武市| 岫岩| 栖霞市| 克拉玛依市| 广水市| 吐鲁番市| 江西省| 阜康市| 鸡西市| 增城市| 延长县| 千阳县| 花莲市| 万源市| 武定县| 连南| 申扎县| 云梦县| 内江市| 赤壁市| 宁津县| 松江区| 土默特右旗| 镇平县| 泰和县|