专栏名称: 爱可可-爱生活
知名互联网资讯博主 北邮PRIS模式识别实验室陈老师
目录
今天看啥  ›  专栏  ›  爱可可-爱生活

本文通过实验和理论分析揭示,大语言模型微调后的泛化与幻觉现象均源-20250614055424

爱可可-爱生活  · 微博  · AI  · 2025-06-14 05:54
    

文章预览

2025-06-14 05:54 本条微博链接 本文通过实验和理论分析揭示,大语言模型微调后的泛化与幻觉现象均源于“上下文外推理”(OCR)这一共同机制,并创新性地指出Transformer中输出-值矩阵的分解形式通过梯度下降的隐式偏置(倾向于最小化核范数)实现了高效的OCR,这种机制无论关联是否真实都会生效,从而统一解释了模型的卓越泛化能力与幻觉风险。 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览