随着 NVIDIA GPU 计算性能的不断提升,如何提升 GPU 利用率是开发者普遍关心的问题之一。从 Kepler 架构开始,NVIDIA GPU 支持多个 CUDA kernels 函数的并发执行,称为 Hyper-Q 技术。Hyper-Q 技术支持多个 CUDA streams、多个 CPU threads 或者多个 CPU processes 同时发射 CUDA kernels 函数到 GPU 上,在硬件资源允许的情况下,实现多个 kernels 的并发执行。对于多个 CPU processes 发射 kernels 的情况,要想实现真正的 kernels 并发,就需要借助 CUDA 中的工具:MPS (Multi-Process Service)。为此,NVIDIA 中国区 GPU 计算专家团队高级工程师吴磊将带来一场线上直播分享,从介绍 CUDA context / Hyper-Q 等背景知识入手,深入浅出的向大家展示 MPS 技术的最佳实践方法,并以实际案例向大家说明 MPS 能够带来的 GPU 性能提升
………………………………