货拉拉Flink CDC实践：稳定性建设与数据入湖新探索

主要观点总结

本文介绍了货拉拉基于Flink CDC的建设实践以及对CDC数据入湖的新思考，包括货拉拉业务背景、为何选择Flink CDC作为实时数据同步链路组件、CDC生产实践、CDC数据入湖和未来展望。

关键观点总结

关键观点1: 货拉拉业务背景介绍

货拉拉是一家从事物流服务的公司，拥有广泛的业务覆盖范围和快速增长的业务量，需要稳定、高效、快速采集数据以挖掘业务数据价值。

关键观点2: 为何选择Flink CDC

货拉拉面临实时抽数延迟、数据链路稳定性等问题，因此选择Flink CDC作为新的实时数据采集和同步框架，因为它具有完善的功能性、兼容性、稳定性保障和数据一致性。

关键观点3: Flink CDC生产实践

货拉拉通过飞流实时计算平台能力建设，对接Flink CDC进行实时数据采集，并进行了数据校验和对比，确保数据的一致性和准确性。同时，通过数据双跑校验、Schema Change信息变更处理等方法确保数据的稳定性和可靠性。

关键观点4: CDC数据入湖和未来展望

货拉拉正在探索Flink CDC+数据湖（Paimon和Iceberg）的结合，并结合Apache Amoro实现全自动数据入湖，形成完整的数据入湖生态体系。同时，考虑多数据源订阅的需求，满足关系型和非惯性数据的订阅查询。