今天看啥  ›  专栏  ›  InfoQ

重难点高能总结!Spark SQL优化与执行全流程详解 | 极客时间

InfoQ  · 公众号  · 科技媒体  · 2022-03-08 08:30
大数据领域,SQL的重要性不用我多说,甚至称得上是“万物皆可SQL化”。不管是做平台的,还是做应用的,都免不了跟SQL打交道。一句“SQL Boy”,虽然是大家的自嘲,但也能说明大数据工程师们跟SQL的关系之紧密。 从Hive/Spark SQL等最原始、最普及的SQL查询引擎,到Kylin/ClickHouse等OLAP引擎,再到流式的Flink SQL/Kafka SQL,大数据的各条技术栈,都在或多或少地往SQL方向靠拢。而在所有这些引擎中,Spark SQL对SQL的优化是做得最深、最好的!可以说,只要掌握Spark SQL相关的优化原理与实践,其他各类SQL基本上就是手到擒来,稍微花点心思就能融会贯通。 而恰恰,这就是很多小伙伴的痛点所在——可能只是学了怎么写好SQL,也掌握了一些优化规则、参数,但却始终只停留在“怎 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照