看啥推荐读物
专栏名称: DeepTech深科技
“DeepTech深科技”是与麻省理工科技评论官方独家合作的一个新科技内容品牌。我们专注于关注三个方面:1、基于科学的发现;2、真正的科技创新;3、深科技应用的创新。
今天看啥  ›  专栏  ›  DeepTech深科技

提升大语言模型自我反思能力,浙大团队自我对比新策略优化模型效果

DeepTech深科技  · 公众号  · 科技媒体  · 2024-03-17 14:28
通常的观点是,当大模型帮助人们做数学题、订外卖或机票时,结果有时并不能完全符合人类的预期。自我反思能够让模型自己调整输出,解决之前存在的一些问题,从而更好地服务人类。但是与人类似的是,大模型进行自我反思本身就是一件很难的事情。例如,人类做一道数学题,如果得到了错误答案,我们自身可能很难做出反思来获得正确的答案。尤其是对于超出我们能力范围的题目,通过自我反思很难实现纠正有缺陷的答案。对于大模型而言,在没有外界辅助或反馈的情况下,其自身的自左向右的解码模式也使其反思能力受到了限制。研究发现,关键的难题在于自我评估反馈的质量。大语言模型(Large Language Model,LLM)在自我评估时,或表现出过度自信,或表现出高度随机性,往往会提供顽固或不一致的反馈,从而导致反思效果不佳。针对 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照