RocksDB-Cloud 源码及存算分离实践解析

主要观点总结

本文介绍了RocksDB-Cloud的工作原理和源码分析，包括其在S3上的数据存储、主从复制的实现方式，以及优化建议。文章还提及了基于RocksDB-Cloud开发的Pikiwidb数据库的特点和优势。

关键观点总结

关键观点1: RocksDB-Cloud简介和工作原理

RocksDB-Cloud是基于Facebook开源的高性能键值数据库RocksDB的一种扩展，支持数据存储在S3上，为云环境下的部署和管理进行了优化。它主要通过CloudFileSystem来操作S3，实现数据的存储和检索。

关键观点2: 源码分析

RocksDB-Cloud的源码分析主要涉及到其与S3的交互过程，包括使用CloudFileSystem进行文件操作，以及主从复制的实现方式。其中，CLOUDMANIFEST文件记录了sst文件的映射关系，解决了多节点同时更新同一sst文件导致的数据冲突问题。

关键观点3: 主从复制

RocksDB-Cloud支持主从复制，通过ReplicationLogListener类获取Memtable实时数据和VersionEdit元数据变更，实现数据的同步和备份。同时，通过引入epochId和cookie解决多个节点更新共享数据时的冲突问题。

关键观点4: 优化建议

为了提高RocksDB-Cloud的性能，提出了串行上传改为并行上传、阻塞上传/下载改为异步处理、文件本地缓存等优化建议。

关键观点5: Pikiwidb数据库介绍

Pikiwidb是基于RocksDB-Cloud开发的存算分离版数据库，拥有高性能和低成本的优势，完全兼容Redis协议。