快速提升性能，如何更好地使用GPU（上）

 本篇根据HOW CUDA PROGRAMMING WORKS的讲解，整理下如何更好地使用GPU的一些细节，主要有三点：让GPU别闲着（Use it at all）把GPU中所有资源都利用起来（Use all of it）高效的利用资源（Use it efficiently）充分利用GPU资源在我们平常的项目中，除了优化 kernel 性能，能够快速拿到收益的是整体 pipeline 的优化。我遇到大部分项目在优化性能的时候，kernel 优化一般都是最后一步，很多项目一开始可以先从整体 pipeline 上考虑，拿到可以拿到的性能收益，最后实在扣不出来再考虑优化 kernel。让GPU别闲着首先明确一点，GPU是异步的，一般cpu发完命令后（也就是launch了一个 kernel 之后）就没事了。发kernel指令这一步很快，理论上任务给了gpu之后cpu就能干自己的事儿了。有异步就会有同步，依赖gpu处理结果的cpu线程需要同步操作来等待当前gpu处理完才能进行下一步，比如 ………………………………