FasterTransformer Decoding 源码分析(六)-CrossAttention介绍

作者丨进击的Killua来源丨https://zhuanlan.zhihu.com/p/670739629编辑丨GiantPandaCV本文是FasterTransformer Decoding源码分析的第六篇，笔者试图去分析CrossAttention部分的代码实现和优化。由于CrossAttention和SelfAttention计算流程上类似，所以在实现上FasterTransformer使用了相同的底层Kernel函数，因此会有大量重复的概念和优化点，重复部分本文就不介绍了，所以在阅读本文前务必先浏览进击的Killua：FasterTransformer Decoding 源码分析(四)-SelfAttention实现介绍这篇文章，一些共性的地方会在这篇文章中做统一介绍，本文着重介绍区别点。一、模块介绍如下图所示，CrossAttention模块位于DecoderLayer的第4个模块，输入为经过LayerNorm后的SelfAttention结果和encoder的outputs，经过该模块处理后进行残差连接再输入LayerNorm中。CrossAttention在decoder中的位置CrossAttention模块本质上还是要实现如下几个公 ………………………………