专栏名称: AI科技大本营
迎来到AI科技大本营。这里汇集了优秀的AI学习者,技术大咖和产业领袖;提供接地气的实战课程。在这里和优秀的人一起成长。
今天看啥  ›  专栏  ›  AI科技大本营

Spark入门系列(一) | 30分钟理解Spark的基本原理

AI科技大本营  · 公众号  · AI  · 2019-07-14 19:55
作者 | 梁云1991转载自Python与算法之美(ID:Python_Ai_Road)导读:Spark 是大数据领域目前最流行的计算框架,很多初入门者想要了解它却没有比较系列全面的入门方法。因此,本系列文章将从零开始,用丰富和简单易懂的范例,作为新手的 demo 参考,本文是本系列第一篇文章,带你了解 Spark 的基本原理。一 、Spark优势特点作为大数据计算框架MapReduce的继任者,Spark具备以下优势特性。1 高效性不同于MapReduce将中间计算结果放入磁盘中,Spark采用内存存储中间计算结果,减少了迭代运算的磁盘IO,并通过并行计算DAG图的优化,减少了不同任务之间的依赖,降低了延迟等待时间。内存计算下,Spark 比 MapReduce 快100倍。2 易用性不同于MapReduce仅支持Map和Reduce两种编程算子,Spark提供 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照