统一存储、缩短链路，快手从 Clickhouse 到 Apache Doris 实现湖仓分离向湖仓一...

主要观点总结

本文介绍了快手基于Apache Doris升级为湖仓一体分析平台的经历。通过引入Apache Doris，解决了原有架构中存在的问题，如数据冗余存储、资源占用、治理复杂和查询性能瓶颈等。文章详细描述了快手在升级过程中使用的技术选型、缓存服务、自动物化系统、湖仓数据查询优化等方面的实践经验。

关键观点总结

关键观点1: 技术升级背景

快手原有架构面临数据存储冗余、资源占用高、治理复杂和查询性能瓶颈等问题，需要升级技术架构。

关键观点2: 技术选型与解决方案

快手选择引入Apache Doris，通过替换ClickHouse，实现湖仓一体分析平台。利用Doris的高性能计算引擎和物化视图能力，解决原有问题。

关键观点3: 缓存服务与优化

快手结合Doris系统架构和特性，对元数据缓存和数据缓存进行了适配和优化。通过Meta Server服务实现查询引擎、元数据服务和数据缓存服务的三方联动。

关键观点4: 自动物化系统

快手结合Doris的物化视图透明改写能力和自研的物化服务，实现了KwaiMTMV自动物化系统。通过物化发现、物化生产和物化消费三个步骤，提高了数据模型的交付速度和查询效率。

关键观点5: 湖仓数据查询优化

除了缓存服务和物化视图服务，快手还总结了一些湖仓查询的优化经验，如收集外表统计信息、有序文件和合适的RowGroup大小、使用Bucket表等。