（arXiv 2025）FFTNetBlock频域版注意力模块，即插即用，涨点起飞

主要观点总结

本文介绍了一篇名为“FFTStrikes Again: An Efficient Alternative to Self-Attention”的论文，提出了一种利用快速傅里叶变换（FFT）进行全局token混合的方法FFTNet。该论文的主要内容包括提出FFTNet，利用FFT进行全局上下文动态选择重要的频率分量，降低复杂度至O(n log n)，并结合全局FFT分支和局部窗口（STFT）或小波变换分支，同时保留长程依赖与局部细节。FFTNet包括整体架构、输入序列处理流程、即插即用模块的作用等。此外，文章还提供了相关代码实现和模块地址。

关键观点总结

关键观点1: FFTNet的提出及原理

FFTNet是一种利用快速傅里叶变换（FFT）进行全局token混合的方法。它将输入序列映射到频域，通过全局FFT捕捉长程依赖，并结合STFT或小波分支保留局部细节。在频域内，通过等距融合和自适应滤波器实现高效特征混合。

关键观点2: FFTNet的优势

FFTNet以O(n log n)的复杂度实现了全局与局部感知的高效特征混合，相较于自注意力机制，计算量更低。它还能够动态强调关键信号频率成分，增强任务相关特征，并避免梯度消失/爆炸问题。

关键观点3: FFTNet的应用场景

FFTNet适用于长序列建模任务，如NLP、CV和多模态任务。特别是在需要同时保留全局和局部信息的任务中，如大图像和细粒度纹理分析，或长文本和局部关键短语识别，FFTNet能够发挥重要作用。