盘点！Instruction Tuning 时代的大模型

作者 | Kevin吴嘉文 整理 | NewBeeNLP 公众号https://zhuanlan.zhihu.com/p/616830127Alpaca，ChatGLM 等模型的效果可以接受，下文总结部分笔记，为训练自定义小型化（7B）模型提供点知识储备。包括模型论文 LaMDA, Muppet, FLAN, T0, FLAN-PLAM, FLAN-T5LaMDA论文：Language Models for Dialog ApplicationsLaMDA 没用到 Instrcution Tuning，但下文中部分模型基于 LaMDA 进行微调。 模型：大小从 2B 到 137B 不等。 训练数据：在 1.56T words 级别的互联网对话及文档预料上预训练。 训练：预训练比较普通，比较有意思的在于文中的 6.2 部分外部知识微调："Fine-tuning to learn to call an external information retrieval system"。LaMDA 提出 Tool Set 模块，通过外界模块 进行翻译、数学计算、信息检索 三种功能。在一个对话流程中，TS 的功能如下：假设用户进行 query，LaMDA 会进行一次普通预测，返回一个可能存在事实错误的 ………………………………