B站离线多机房架构实践

本期作者陈昱康哔哩哔哩技术专家B站离线平台负责人, 对分布式计算和存储、调度、查询引擎、在线离线混部、高并发等方面有丰富研发和实践经验。陈诚哔哩哔哩资深开发工程师2020年加入B站基础架构部，现服务于大数据实时团队， 先后负责离线HDFS存储，实时降本增效（混部、Flink弹性伸缩）、Flink on K8s、数据传输等工作。01 背景随着B站业务的高速发展，业务数据的生产速度变得越来越快，离线集群规模快速膨胀，既有机房内的机位急剧消耗，在可预见的不久的将来会达到机房容量上限，阻塞业务的发展。因此，如何解决单机房容量瓶颈成为了我们亟待解决的问题。目前，针对机房容量问题的解决方案业界主要有以下两种：1）集群整体搬迁至更高容量的机房（scale up）。该方案是一种纵向扩容方案，即将现有集群搬迁至容量更大的机房，从而提 ………………………………