哔哩哔哩基于 Iceberg 的智能数据组织优化实践

导读 随着数据存储规模的增长和查询环境的复杂化，数仓面临着查询性能与稳定性的挑战。为了实现查询加速，哔哩哔哩在 Iceberg 基础上进行了功能拓展，包括多维排序、多种索引和预计算等。然而，现有优化手段对用户的技术门槛较高，需要手动配置或组织培训提供指导，限制了优化技术的推广使用。因此，采用了智能优化技术，通过自动分析用户历史查询数据，为数据存储和查询配置合理的优化手段，提升了数仓的整体查询效率。今天的分享将主要包括三个主要内容。首先，我们将介绍智能优化项目的背景，然后我们会详细介绍智能优化的整体实践方案。最后，我们将展示目前智能优化所取得的成果，以及未来的规划。本次分享主要内容包括：1. 智能优化背景2. 智能优化实践方案3. 智能优化成果及规划分享嘉宾｜杨金德 哔哩哔哩 高级开发 ………………………………