YARN & Mesos，论集群资源管理所面临的挑战

在国内，大部分的Spark用户都是由Hadoop过渡而来，因此YARN也成了大多Spark应用的底层资源调度保障。而随着Spark应用的逐渐加深，各种问题也随之暴露出来，比如资源调度的粒度问题。为此，7月2日晚，在CSDN Spark高端微信群中，一场基于YARN和Mesos的讨论被拉开，主要参与分享的嘉宾包括TalkingData研发副总裁阎志涛，GrowingIO田毅，AdMaster技术副总裁卢亿雷，Spark Committer、Mesos/Hadoop Contributor夏俊鸾，下面一起回顾。阎志涛——YARN和Hadoop捆绑以及资源分配粒度问题这里好多老朋友了，这里主要说说Spark on YARN的实践挑战。Talking Data最初引入Spark是2013年，当时主要的考虑是提高机器学习效率，于是在Spark 0.8.1的时候就引入了Spark，那个时候的环境是Hadoop CDH 4.3版本。最初用Spark就 ………………………………