一篇文章带你看懂Yarn的基本架构

YARN的基本思想

YARN的基本思想是将资源管理和作业调度以及监控的功能拆分为单独的守护进程。这种架构思想是拥有一个全局的ResourceManager（RM）和每个应用程序的ApplicationMaster（AM）。应用程序可以是单个作业，也可以是作业的DAG。

YARN的组成

ResourceManager和NodeManager组成数据计算框架。ResourceManager是具有在系统中所有应用程序之间仲裁资源的最终权限。NodeManager是每台机器的框架代理，负责监控容器的资源使用情况（cpu，内存，磁盘，网络），并将其报告给ResourceManager或Scheduler。

实际上，每个应用程序的ApplicationMaster是特定于框架的库，其任务是对来自ResourceManager的资源进行协调，并与NodeManager一起执行和监控任务。

ResourceManager

ResourceManager具有两个主要组件：Scheduler和ApplicationsManager。

Scheduler

Scheduler负责将资源分配给各种正在运行的应用程序，但要遵循熟悉的容量，队列等约束。从某种意义上说，调度器是纯调度程序，它不监控或跟踪应用程序的状态。此外，它也不保证由于应用程序故障或硬件故障而重新启动失败的任务。调度程序根据应用程序的资源需求执行调度功能；它基于资源容器的抽象概念来做到这一点，该容器包含诸如内存，cpu，磁盘，网络等因素。

调度程序具有可插拔策略，该策略负责在各种队列，应用程序等之间分配群集资源。当前的调度程序（例如CapacityScheduler和FairScheduler）将是一些插件示例。

ApplicationsManager

ApplicationsManager负责接受作业提交，协商用于执行特定于应用程序的ApplicationMaster的第一个容器，并提供在失败时重新启动ApplicationMaster容器的服务。每个应用程序ApplicationMaster负责与调度程序协商适当的资源容器，跟踪其状态并监控其进度。

YARN作业调度

hadoop-2.x中的MapReduce与以前的稳定版本（hadoop-1.x）保持API兼容性。这意味着仅通过重新编译，所有MapReduce作业仍应在YARN上保持不变。

YARN通过ReservationSystem支持资源保留的概念，ReservationSystem是一个组件，该组件使用户可以指定资源随时间的限制情况（例如，截止日期），并保留资源以确保重要工作的可预测执行。ReservationSystem会随着时间的推移跟踪资源，执行预留的准入控制，并动态指示底层的调度程序以确保预留已满。

为了将YARN扩展到成千上万个节点，YARN通过YARN联合功能支持联合的概念。联合允许将多个YARN（子）集群簇透明地连接在一起，并使它们看起来像是一个整体簇。这可以用于实现更大的规模，和允许将多个独立的集群一起用于非常大的工作，或用于具有全部能力的租户。