Transformer的稳健性更好吗？

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文作者：Greene |  来源：知乎（已获作者授权）https://zhuanlan.zhihu.com/p/361105702最近 Transformer 在计算机视觉遍地开花，从纯 Transformer 到 Transformer 和 CNN 的显式隐式杂交，各个任务仿佛嗷嗷待哺的婴儿，等着 Transformer 奶一口，这自然让人好奇 Transformer 的稳健性（Robustness）如何。然而，Transformer 训练起来算力要求大，对抗训练加 Transformer 训练起来算力要求就是大上加大，好在我们不用亲自花费精力去实验，或者实验到一半的你也可以先休息一下，因为在 arXiv 上已经出现了研究 Transformer 的稳健性的论文。第一篇映入眼帘的便是 2021年3月26日 公开的 Transformer 的老家谷歌做的这篇：Srinadh Bhojanapalli, Ayan Chakrabarti, ………………………………