ICML 2024 | Cell2Sentence: 教会大语言模型生物语言

文章预览

今天为大家介绍的是来自David van Dijk团队和Rahul M. Dhodapkar团队的一篇论文。大型语言模型（如GPT）在自然语言任务中表现出色。在此，作者提出了一种新颖的方法，将这些预训练模型直接应用于生物学领域，特别是单细胞转录组学。作者的方法称为Cell2Sentence，它通过将基因表达数据表示为文本来实现这一点。具体来说，Cell2Sentence方法将每个细胞的基因表达谱转换为按表达水平排序的基因名称序列。作者展示了这些基因序列（“细胞句子”）可以用于微调因果语言模型，如GPT-2。关键的是，作者发现自然语言预训练提升了模型在细胞句子任务上的表现。当在细胞句子上进行微调时，GPT-2在给定细胞类型的情况下可以生成生物学上有效的细胞。相反，当给定细胞句子时，它也可以准确预测细胞类型标签。这表明，使用Cell2Sentence微调的语言模型可以获得 ………………………………