基于 Kyuubi 实现分布式 Flink SQL 网关

摘要：本文整理自网易互娱资深开发工程师、Apache Kyuubi Committer 林小铂的《基于 Kyuubi 实现分布式 Flink SQL 网关》分享，内容主要分为以下四部分：1. Kyuubi 是什么2. Kyuubi 架构设计3. Flink x Kyuubi 优势4. 未来展望Tips：点击「阅读原文」在线观看 FFA 2023 会后资料～01Kyuubi 是什么1.1 Kyuubi 简介简单来说，Kyuubi 是一个分布式、多租户的 SQL 网关。相信大家先会想到的问题是，Flink 已经提供 SQL Gateway，为什么还需要 Kyuubi 呢？其实答案就是分布式和多租户两个关键词，两者相辅相成，Kyuubi 很多高级功能都是从分布式和多租户衍生而来的。1.2 Kyuubi 的发展历程2018-2020 0.x 版本Kyuubi 在 2018 年立项，最初目的主要为解决 Hive 用户迁移到 Spark SQL (Spark Thrift Server) 的痛点，比如租户间隔离和服务稳定性的问题。2018-2020 年是 Kyuubi 的 0.x 版本阶段，这个时期主要定位为 Spark ………………………………