滴滴离线索引快速构建FastIndex架构实践

文章预览

作者 | 钟华 策划 | Tina FastIndex 功能用于将 Hive 中的离线数据快速导入到 ES 集群，使得业务能使快速的查询离线数据。目前在滴滴内部，FastIndex 功能服务了 500+ 个业务，单日执行次数 900+，服务稳定性达到 99.99%。目前，该项目已对外开源。 开源地址：https://github.com/didi/ES-Fastloader 1、业务背景 在大数据场景下，业务一般会把 Mysql 中的数据同步到 Hive 表中，然后通过 Hive 脚本对数据进行加工，并将得到的 Hive 数据同步到 ES 中，最终通过 ES 对外提供准实时的查询服务。在 Fastindex 功能上线之前，我们主要通过 DataX 的 Hive2ES 功能将数据从 Hive 导入 ES 中。在数据量较小的时候，DataX 可以快速完成数据迁移的工作。但随着数据量的增加，当业务的 Hi ………………………………