您好,登錄后才能下訂單哦!
1.NameNode:
相當于一個領導者,負責調度 ,比如你需要存一個1280m的文件如果按照128m分塊 那么namenode就會把這10個塊(這里不考慮副本)分配到集群中的datanode上并記錄對于關系 。當你要下載這個文件的時候namenode就知道在那些節點上給你取這些數據了。它主要維護兩個map 一個是文件到塊的對應關系 一個是塊到節點的對應關系。
2. secondarynamenode:
它是namenode的一個快照,會根據configuration中設置的值來決定多少時間周期性的去cp一namenode,記錄namenode中的metadata及其它數據
3. NodeManager(NM):
1、是YARN中每個節點上的代理,它管理Hadoop集群中單個計算節點
2、包括與ResourceManger保持通信,監督Container的生命周期管理,
3、監控每個Container的資源使用(內存、CPU等)情況,追蹤節點健
4、康狀況,管理日志和不同應用程序用到的附屬服務(auxiliary service)
4.DataNode:
a.DataNode的需要完成的首要任務是K-V存儲
b.完成和namenode 通信 ,這個通過IPC 心跳連接實現,此外還有和客戶端 其它datanode之前的信息交換。
c.完成和客戶端還有其它節點的大規模通信,這個需要直接通過socket 協議實現。
5.ResourceManager:
在YARN中,ResourceManager負責集群中所有資源的統一管理和分配,它接收來自各個節點(NodeManager)的資源匯報信息,并把這些信息按照一定的策略分配給各個應用程序(實際上是ApplicationManager)RM與每個節點的NodeManagers (NMs)和每個應用的ApplicationMasters (AMs)一起工作。
a.NodeManagers 遵循來自ResourceManager的指令來管理單一節點上的可用資源。
b.ApplicationMasters負責與ResourceManager協商資源與NodeManagers合作啟動容器
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。