Data+AI 一体架构的产品创新

主要观点总结

本文分享了关于Data+AI一体架构的技术趋势和产品创新，包括Data for AI和AI for DataWarehouse的方向，MaxCompute产品在Data+AI一体架构上的实践，以及如何通过AI来让云原生数仓智能化的能力。文章还提到了MaxCompute在大数据+大模型应用的最佳实践，以及针对非结构化文本处理的技术挑战和解决方案。

关键观点总结

关键观点1: Data+AI一体技术趋势和主要市场趋势

目前Data+AI一体化趋势可以分开理解成两个主要技术方向：Data for AI和AI for DataWarehouse。在Data for AI层面，更多是大数据为AI赋能的应用；而在AI for DataWarehouse层面，则是应用在智能数仓的场景上，其中数据治理是当下比较关注的能力。

关键观点2: Data+AI开发的全生命周期和痛点

Data + AI的开发全生命周期涵盖了数据分析、数据预处理、模型创建、模型训练、模型评估、模型预测以及部署发布等诸多流程。在尚未出现行业统一标准的当下，技术产品实践都在不断地尝试解决与优化成本、效率、运维三个维度的痛点与问题。

关键观点3: MaxCompute产品在Data+AI一体架构上的产品架构实践

MaxCompute产品提供了统一数据管理、分布式计算框架、交互式开发环境、镜像管理等核心功能。通过MaxFrame进行数据预处理，并将结果集成在PAI的机器学习平台上进行模型开发。最后通过PAI-EAS自动化推理组件实现模型部署与发布。

关键观点4: 如何通过AI让云原生数仓智能化

通过分层存储推荐、物化视图智能化、智能数仓新创新、成本优化器智能资源配置等功能，让数仓更加智能化。其中，基于learning-based query optimizer的AI能力提供了更强的Auto计算查询优化的用户体验。

关键观点5: MaxCompute在大模型应用的最佳实践

关键观点6: 关于非结构化文本处理的技术挑战和解决方案