Hadoop-YARN
创始人
2024-11-14 19:34:52
0次

简介

YARN是Hadoop的资源管理和作业调度系统，它将集群资源管理和作业调度/监控功能从Hadoop MapReduce的实现中分离出来，使得Hadoop可以支持除了MapReduce之外的其他数据处理模型。用户可以将各种服务框架部署在 YARN 上，由 YARN 进行统一地管理和资源分配。

重要组件

  1. Resource Manager (RM)：

    • 在独立的机器上以后台进程的形式运行。它是整个集群资源的主要协调者和管理者，负责整个集群的资源管理和调度。
    • 处理客户端请求，将作业提交到集群，并根据资源情况分配作业到不同的节点上。

  2. Node Manager (NM)：

    • 运行在集群中的每个节点上，负责管理单个节点的资源。
    • 监控节点上的容器使用情况，如内存、CPU等，并将其汇报给ResourceManager。

  3. Application Master (AM)：

    • 每个作业都会启动一个Application Master，它负责与ResourceManager协商资源，并与NodeManagers通信以启动和监控任务。
    • AM还负责作业的生命周期管理，包括任务的调度、监控和状态报告。

  4. Client：

    • 客户端应用程序，用于提交作业到YARN集群，并与Application Master交互以获取作业状态和结果。

工作流程

  1. 作业提交
    1. 客户端向集群提交作业，RM返回jobId和资源提交路径
    2. 客户端发送Jar包、配置信息等到指定路径(HDFS上)
    3. 客户端向RM发送执行作业请求
    4. RM接受到请求后会创建一个AM来管理该请求
  2. 作业初始化
    1. Application manager将job任务添加到资源调度器(Resourse Shecduler，存在于Resourse Manager)中，并且维护在一个队列里
    2. RM通知Application manager有空闲NM可以执行job
    3. Application manager调用NM开辟一个Container,并且启动Application Master,然后从指定路径(HDFS上)中获取，生成Task.
  3. 任务分配
    1. Application Master向RM申请运行Task的资源
    2. RM分配Task任务，NM创建一个Container用于执行Task
  4. 任务运行
    1. AM通知NM启动计算
    2. NM启动Task计算
    3. job执行完毕，AM向RM申请注销
  5. 作业完成 

上一篇：Apache Storm：实时数据处理的闪电战

下一篇：C#:通用方法总结—第8集

相关内容

热门资讯

windows和安卓系统的关系... 你有没有想过，为什么你的手机和电脑有时候会像好朋友一样，互相配合得天衣无缝？其实，这背后有一个大大的...
安卓11怎么降级系统,轻松还原... 你有没有发现，安卓11系统虽然功能强大，但有时候也会有点小闹心呢？比如，某些应用不支持，或者系统运行...
正版授权！游戏推荐斗牛房卡出售... 今 日消息，天蝎大厅房卡添加微信33549083 苹果今日发布了 iOS 16.1 正式版更新，简单...
推荐一款！金花房卡批发女娲大厅... 女娲大厅房卡更多详情添加微：33549083、 2、在商城页面中选择房卡选项。 3、根...
安卓系统误删无法开机,紧急修复... 手机里的照片、联系人、重要文件，说没就没了！最近，身边的朋友纷纷向我抱怨，他们的安卓手机因为误删数据...
玩家攻略，牛牛充值房卡新大圣/... 玩家攻略，牛牛充值房卡新大圣/新道游/微信链接房卡购买渠道新大圣/新道游是一款非常受欢迎的游戏，咨询...
一分钟了解！牛牛房卡出售红桃众... 红桃众娱是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:【3329006910】或QQ:332900...
IA解析/金花房卡批发玄灵大厅... IA解析/金花房卡批发玄灵大厅/微信链接房卡最低价格Sa9Ix苹果iPhone 17手机即将进入量产...
我来教你/牛牛房卡代理新518... 新518互娱房卡更多详情添加微：33549083、 2、在商城页面中选择房卡选项。 3...
正规平台有哪些，金花房卡代理零... 微信游戏中心：九天大厅房卡在哪里买打开微信，添加客服微信【88355042】，进入游戏中心或相关小程...
荣耀magic是安卓系统吗,探... 你有没有听说过荣耀Magic这款手机？最近它可是手机圈里的热门话题呢！很多人都在问，荣耀Magic是...
头条推荐！游戏推荐牛牛房卡出售... 微信游戏中心：海豚大厅房卡在哪里买打开微信，添加客服微信【88355042】，进入游戏中心或相关小程...
正版授权！斗牛房卡充值新九天大... 您好！微信新九天大厅大厅链接获取房卡可以通过以下几种方式购买： 1.微信渠道：（新九天大厅）大厅介...
头条推荐！牛牛房卡制作链接玄武... 今 日消息，玄武大厅房卡添加微信33549083 苹果今日发布了 iOS 16.1 正式版更新，简单...
科技实测！牛牛房卡官网昆仑大厅... 微信游戏中心：昆仑大厅房卡在哪里买打开微信，添加客服微信【88355042】，进入游戏中心或相关小程...
IA解析/斗牛房卡充值宝马系列... 宝马系列/随意玩房卡更多详情添加微：33549083、 2、在商城页面中选择房卡选项。 ...
正规平台有哪些，游戏推荐牛牛房... 微信游戏中心：新蜜瓜大厅/随意玩房卡在哪里买打开微信，添加客服微信【88355042】，进入游戏中心...
IA解析/金花房卡制作链接新天... 新天王/皇豪互众是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:【3329006910】或QQ:33...
推荐一款！牛牛房卡制作链接上游... 推荐一款！牛牛房卡制作链接上游联盟/正规房卡平台有哪些Sa9Ix苹果iPhone 17手机即将进入量...
我来教你/如何购买金花房卡鸿狐... 我来教你/如何购买金花房卡鸿狐大厅/房卡购买批发价格鸿狐大厅是一款非常受欢迎的游戏，咨询房/卡添加微...