在Google工作3.3年的研究科学家，开始创业从零试水训练大模型的1年：工作量翻倍，“坑”太多了！

作者 | Yi Tay      编译 | 苏宓出品 | CSDN（ID：CSDNnews）一年前的 3 月，在 Google Brain 和 AI 部门工作了 3.3 年的 Yi Tay 做了一个重要的决定：辞职！然后开启下一次冒险之旅。在他看来，辞职的确有种“毕业”的感觉。“毕竟，我从 Google、从我出色的同事、导师、经理等那里学到了很多东西”，Yi Tay 说道。回看在 Google 任职期间的工作量，Yi Tay 总共写了约 45 篇论文，其中约 16 篇是第一作者（第一作者或共同第一作者等）。就实际影响而言，他大概促成了约 20 项产品的发布。同时，他一直深耕于 Transformers 架构的研究与应用，为 PaLM、UL2、Flan-2 和 Bard 等许多业界领先的 LLM 以及 PaLI-X 和 ViT-22B 等多模态模型做出了贡献。值得一提的是，Yi Tay 还是 PaLM-2 和 PaLM-2 API 建模的共同负责人。在从 Google Brain 离开的一年间，Yi Tay 和很多前同事一样，选择了一家创 ………………………………