Transformer领域近期研究进展总结

2017年，来自谷歌的几个研究员写下《Attention is All you need》的题目，给世界带来了Transformer模型架构，它成为了今天“大模型”繁荣背后无可争议的根基。   OpenAI的GPT，Meta的Llama以及一众最主流大语言模型都是在Transformer的基础上生长起来,某种程度上，今天所有AI模型层面的研究都在围绕对Transformer的掌控与超越展开。如何快速发一篇这一领域的论文呢，我给大家整理了135篇Transformer魔改方案论文，包括最新的idea顶会等，希望对大家的学习有多帮助。扫码回复"transformer"领取135篇魔改论文合集另外我还邀请了常年担任NeurIPS，ICML，ICLR，KDD，IJCAI等国际会议审稿人一林老师在4月17日晚20:00给大家带来《Graph Transformer for Graph Representation Learning》。直播大纲：1.图表示学习2. Graph TransformerTransformer简介Graph Transformer简介Graph Transformer经典模型之Graphormer (NeurlPS 2021 ………………………………