Spark 凭什么成为最火的大数据计算引擎？

文章预览

这年代，做数据的，没人不知道 Spark 是什么吧。作为最火的大数据计算引擎，现在基本上是 各互联网大厂的标配了。   比如，字节跳动基于 Spark 构建的数据仓库，服务了几乎所有的产品线，包括抖音、今日头条、西瓜视频等。再比如，百度基于 Spark 推出 BigSQL，为海量用户提供次秒级的即席查询。可以说， 在海量数据处理上，Spark 的角色至关重要。   想到我刚刚接触 Spark 那会儿，真心佩服它的开发效率，是真高啊！MapReduce 上千行代码才能实现的业务功能，Spark 几十行代码就搞定了。   现在就更牛了，去年 6 月，Spark 直接从 2.4 直接升级到了3.0，最大的亮点就在于 性能优化 ，它添加了诸如自适应查询执行（AQE）、动态分区剪裁（DPP）、扩展的 Join Hints 等新特性。 ………………………………