您好,登錄后才能下訂單哦!
本篇內容主要講解“運行在YARN上的計算框架有什么作用”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“運行在YARN上的計算框架有什么作用”吧!
1. 將框架運行在YARN上帶來的好處
隨著YARN的的成熟和穩定,各類應用程序可以運行在一個YARN集群中進行統一資源管理和調度,這樣帶來的變化如下:
(1)應用程序部署變得更加簡單
管理員只需部署YARN服務即可,各類應用程序框架不再自帶服務,無需實現部署,它們已經變成了客戶端編程庫(library),由YARN提供的分布式緩存機制分發到各個節點上;
(2)服務部署變得簡單
用戶可以通過運行一個應用程序的方式部署一套服務,比如Storm服務,至于jar包拷貝等工作,完全由YARN自動完成,部署完成后,用戶像使用普通的Storm集群那樣使用Storm-On-YARN
(3)多版本共享集群資源(簡單的隔離)
由于YARN只負責資源管理和調度,至于其上運行什么應用或者服務,完全由用戶自己決定,這使得用戶可在YARN上運行多個同類服務實例,比如運行 多個Storm實例供不同類型的應用,YARN本身可以為這些實例提供隔離機制(Cgroups)。有了YARN之后,用戶開發新的框架或者應用程序時, 可不必在考慮資源隔離問題。
(4)資源彈性管理
由于多類應用運行在一個YARN集群中,比如離線計算、實時計算、DAG計算等,YARN可根據不同類型的應用程序壓力情況,調整對應的資源使用量,實現資源彈性管理。
2. 目前可運行在YARN上的計算框架
運行在YARN上的框架,包括MapReduce-On-YARN, Spark-On-YARN, Storm-On-YARN和Tez-On-YARN。
(1)MapReduce-On-YARN:YARN上的離線計算,YARN發行版中自帶該實現,隨著YARN的穩定,MRv1運行方式會被淘汰;
(2)Spark-On-YARN:YARN上的內存計算;
(3)Storm-On-YARN:YARN上的實時/流式計算;
(4)Tez-On-YARN:YARN上的DAG計算
到此,相信大家對“運行在YARN上的計算框架有什么作用”有了更深的了解,不妨來實際操作一番吧!這里是億速云網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續學習!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。