突破瓶颈：推进长上下文 LLMs 的发展 (KIVI & Self-Extend) - Zirui Liu 明尼苏达助理教授

文章预览

主题 突破瓶颈：推进长上下文 LLMs 的发展 时间 北京时间 2025.3.2 10:30 am 美东时间 2025.3.1  9:30 pm 论文 KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache - ICML 2024 LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning - ICML 2024 (Spotlight) 摘要 大规模语言模型（LLMs）在对话能力方面取得了显著进展。然而，将其扩展至处理更长的上下文，例如从长篇文章中提取信息——这一任务在医疗、法律和金融等应用场景中至关重要——仍面临巨大挑战。主要障碍有两个。第一，LLMs 难以处理超出预训练长度的输入，导致长文本信息难以有效捕获。第二，即使能够准确提取长文本信息，在现实场景中部署 LLM 仍受到硬件容量的限制，影响其大规模应用。 在本次演讲中，我将探讨长上下文 LLM 的高效部署的最新进展。针对第一个挑战，我将介绍我们 如何通过粗化位置编码（posit ………………………………