优步借助 MyRocks 差异备份显著节省了存储成本

主要观点总结

优步成功实施了新的差异备份系统，为分布式数据库带来显著的成本和效率提升。面对迁移到MyRocks存储引擎后的存储成本上升和备份时间过长问题，优步团队开发了此系统。该系统利用MyRocks SSTable文件的不可变特性，实施差异备份，降低存储成本并提高备份速度。新系统由无状态服务Backup Scheduler管理，使用Percona XtraBackup工具进行备份和恢复。优步报告称，新系统使数据存储平均减少45%，某些实例的存储成本降低70%以上，且备份速度显著提高。

关键观点总结

关键观点1: 优步面临存储成本上升和备份完成时间过长的问题

在将分布式数据库迁移到MyRocks后，优步遇到了存储成本上升和备份时间过长的问题，这是因为MyRocks虽然对写入操作和存储效率进行了优化，但缺乏增量备份的支持。

关键观点2: 新差异备份系统的原理和优势

新系统利用MyRocks SSTable文件的不可变特性，通过执行初始完全备份后，仅将新的SSTable文件添加到共享池中，从而实施差异备份。这降低了存储成本，同时提高了备份速度。

关键观点3: 新系统的实现细节和关键组件

新系统由一个无状态服务Backup Scheduler管理，使用Percona XtraBackup工具进行实际的备份过程。清单文件以JSON文档的形式实现，用于跟踪备份的基本信息，并为恢复过程提供必要信息。

关键观点4: 新系统的实施效果

优步报告称，新系统的实施使得大多数实例的数据存储平均减少了45%，一些较大实例的存储成本降低了70%以上。此外，备份过程的速度也得到了显著的提高。

免责声明