yarn集群架构原理

主要内容

• yarn集群架构原理

---

主要组件

• ResouManager(NM):
  负责处理客户端请求
  监控 NodeManager
  启动和监控 APPlicationMaster
  资源的分配和调度

• NodeManager:
  管理单个Worker节点上的资源;
  处理来自ResourceManager的命令
  处理来自ApplicationMaster的命令
  汇报资源状态

• ApplicationMaster:
  负责数据的切分
  为应用申请计算资源，并分配给Task
  任务的监控与容错
  运行在Worker节点上

• Container:
  资源抽象，封装了节点上的多维度资源，如CPU，内存，网络资源等。

• Dispatcher
  整体的设计思路是一个生产者和消费者模型，支持的多生产者和多消费者的模式。

资源调度