越来越保守的数据湖

回望过去一年数据湖开源社区的发展，基本很大一部分努力都集中在稳定性的提升上，这更多是在回应用户的需求，而不是为了探索革命性的新功能。其实，最近几年，一类观点在数据湖社区渐渐流行，那就是数据湖将走向统一。比如Iceberg和Delta Lake是有高度重合的，而且由于DataBricks的商业化客户比较多，在思考新功能上会比较保守。对此，有专家分析道，对于元数据等组件的开发确实是有共性的，但它们都是必要的，所以有共性也不奇怪。而且，在核心演化路径上，Iceberg和Hudi已经出现了明显的差别。Iceberg更多集中在table format上的开发，包括采用native语言写API、支持catalog层更丰富的接口等。而Hudi主要关注的还是数据湖功能集成上，包括二级索引、更高级的元数据、宽表操作的支持等。所以，扩展到整个生态，才能发现更多的创新点。比如2023年 ………………………………