今天看啥  ›  专栏  ›  机器之心

报名 | 提高GPU利用率,听英伟达专家分享这个CUDA工具

机器之心  · 公众号  · AI  · 2019-10-25 22:29
随着 NVIDIA GPU 计算性能的不断提升,如何提升 GPU 利用率是开发者普遍关心的问题之一。从 Kepler 架构开始,NVIDIA GPU 支持多个 CUDA kernels 函数的并发执行,称为 Hyper-Q 技术。Hyper-Q 技术支持多个 CUDA streams、多个 CPU threads 或者多个 CPU processes 同时发射 CUDA kernels 函数到 GPU 上,在硬件资源允许的情况下,实现多个 kernels 的并发执行。对于多个 CPU processes 发射 kernels 的情况,要想实现真正的 kernels 并发,就需要借助 CUDA 中的工具:MPS (Multi-Process Service)。为此,NVIDIA 中国区 GPU 计算专家团队高级工程师吴磊将带来一场线上直播分享,从介绍 CUDA context / Hyper-Q 等背景知识入手,深入浅出的向大家展示 MPS 技术的最佳实践方法,并以实际案例向大家说明 MPS 能够带来的 GPU 性能提升 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照