专栏名称: 数据分析与开发
伯乐在线旗下账号,分享数据库相关技术文章、教程和工具,另外还包括数据库相关的工作。偶尔也谈谈程序员人生 :)
今天看啥  ›  专栏  ›  数据分析与开发

Presto 计算下推原理与实践

数据分析与开发  · 公众号  · 数据库  · 2021-10-19 12:10
背景在介绍 Presto 计算下推之前,我们先来回顾一下 Presto 从对应的 Connector 上读取数据的流程,过程如下:从上图可以看出,client 提交 SQL 到 Coordinator 上,Coordinator 接收到 SQL 之后,会进行 SQL 语法语义解析,生成逻辑计划树,然后经过 planner 处理生成物理计划树(这个过程在 这篇文章里面有介绍),紧接着会生成一个一个有依赖的 Stages,每个 stage 里面有一个或多个 task,这些 task 会被发送到 Worker 上去执行,其中会有一种叫做 Source 的 task,这个 task 就是从对应的数据源里面读取数据,中间结果会发送到其他 worker,最后的计算结果是由 Coordinator 从 worker 上获取再由 Client 获取。Presto 从数据源读取数据的过程基本可以理解为从数据源读取明细数据(已经经过列裁剪之后



文章无法展示全部,请购买VIP后 使用网页访问内容 或者 使用第三方RSS订阅工具访问内容





今天看啥 - 让阅读更高品质
本文地址:http://www.jintiankansha.me/t/zsDaUo2wym