Spark的容量調度是一種資源管理機制,用于在共享的集群資源上有效地調度和分配Spark作業的資源。在容量調度中,資源被劃分為多個隊列,每個隊列被分配一定比例的資源,并且作業只能使用其分配的隊列資源。這樣可以保證不同作業之間的資源隔離,避免一個作業占用過多資源導致其他作業性能下降。容量調度還可以根據隊列的優先級和作業的資源需求來靈活調度資源,以滿足不同作業的需求。Spark支持多種容量調度器,如Fair Scheduler和Capacity Scheduler等。
億速云公眾號
手機網站二維碼
Copyright ? Yisu Cloud Ltd. All Rights Reserved. 2018 版權所有
廣州億速云計算有限公司粵ICP備17096448號-1 粵公網安備 44010402001142號增值電信業務經營許可證編號:B1-20181529