本文提出一种名为SIKeD的自引导迭代知识蒸馏方法，通过迭代地结-20241026054441

爱可可-爱生活 · 微博 · AI · 2024-10-26 05:44

文章预览

2024-10-26 05:44 本条微博链接本文提出一种名为SIKeD的自引导迭代知识蒸馏方法，通过迭代地结合LLM数据和小模型自身生成的正确推理结果，有效地解决了小模型在数学推理能力蒸馏过程中策略选择单一的问题，并在多个数据集上取得了显著的性能提升，其反直觉的发现是简单地混合多种策略的数据并不一定能提高性能，迭代自引导训练至关重要。 ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博

推荐文章

爱可可-爱生活 · 《爱可可微博热门分享(6.12)》爱可可微博热门分享(6.1-20250612224023

14 小时前

爱可可-爱生活 · 据说OpenAI内部运行着一个代号“爱丽丝”的能自我改进的AI，-20250612210434

16 小时前

宝玉xp · 又算对了-20250612021814

昨天

机器之心 · 高考数学全卷重赛！一道题难倒所有大模型，新选手Gemini夺冠，豆包DeepSeek并列第二

2 天前

宝玉xp · 真正的高手，不追逐目标，而是设定边界作者：Joan Westen-20250610222844

2 天前

5G通信 · 收藏：最新全球3G、4G、5G、蓝牙、WiF频段及四大运营商划分！

9 月前

环球网 · 四预警齐发！北京大风进入最强时段

2 月前

南京日报 · 赢了，南京队客场首胜！

2 周前