梦想还是要有的,万一实现了呢

0%

yarn集群架构原理

主要内容

  • yarn集群架构原理

主要组件

  • ResouManager(NM):
    负责处理客户端请求
    监控 NodeManager
    启动和监控 APPlicationMaster
    资源的分配和调度

  • NodeManager:
    管理单个Worker节点上的资源;
    处理来自ResourceManager的命令
    处理来自ApplicationMaster的命令
    汇报资源状态

  • ApplicationMaster:
    负责数据的切分
    为应用申请计算资源,并分配给Task
    任务的监控与容错
    运行在Worker节点上

  • Container:
    资源抽象,封装了节点上的多维度资源,如CPU,内存,网络资源等。

  • Dispatcher
    整体的设计思路是一个生产者和消费者模型,支持的多生产者和多消费者的模式。

资源调度