专栏名称: 刘超的通俗云计算
刘超,网易云解决方案首席架构师,代码级略懂OpenStack、Hadoop、Docker、Lucene、Mesos等开源软件,曾出版《Lucene应用开发揭秘》,个人博客可搜索popsuper1982。
目录
相关文章推荐
高可用架构  ·  干货 | ...·  6 天前  
今天看啥  ›  专栏  ›  刘超的通俗云计算

通俗说基于Yarn的Map-Reduce过程

刘超的通俗云计算  · 公众号  · 架构  · 2017-09-19 01:59
先看全图是基于Yarn的Map-Reduce运行过程,下面通俗的说一下这个过程。从前有一个老板Resource Manager,开了一家外包公司,这家公司有很多的团队Node,每个团队都有个经理Node Manager,每过一段时间,团队经理Node Manager都要到老板那里开会,向老板的人事部门Manage NMs的ResourceTackerService报告当前的人员使用情况。这一天,来了一个客户Client,来到总部的接待处ClientRMService说,我有个项目,你们干不?getNewApplication当老板觉得这个项目干得过,于是就给客户Client拿了一个号Application ID,说项目我们接,把你们的项目材料提交一下吧。于是客户Client回去整理了一下项目的材料,将项目的具体材料,例如项目执行所需要的jars,项目的说明文档job.xml,项目的进度规划splits,上 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照