专栏名称: 爱可可-爱生活
知名互联网资讯博主 北邮PRIS模式识别实验室陈老师
今天看啥  ›  专栏  ›  爱可可-爱生活

本文发现大型语言模型在预填充阶段的隐藏状态中内在地编码了鲁棒的领-20250428061158

爱可可-爱生活  · 微博  · AI  · 2025-04-28 06:11
    

文章预览

2025-04-28 06:11 本条微博链接 本文发现大型语言模型在预填充阶段的隐藏状态中内在地编码了鲁棒的领域特定知识,形成了“潜在领域相关轨迹”,利用这些轨迹进行查询路由的模型选择策略,在提高性能(尤其是在开放式生成任务上)方面出人意料地优于直接使用领域微调模型,揭示了预训练 LLM 内在领域理解的强大潜力。 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览