专栏名称: 爱可可-爱生活
知名互联网资讯博主 北邮PRIS模式识别实验室陈老师
目录
今天看啥  ›  专栏  ›  爱可可-爱生活

【后训练知识蒸馏:监督式蒸馏 vs. 合成数据蒸馏 vs. 在线-20250208092214

爱可可-爱生活  · 微博  · AI  · 2025-02-08 09:22
    

文章预览

2025-02-08 09:22 本条微博链接 【后训练知识蒸馏:监督式蒸馏 vs. 合成数据蒸馏 vs. 在线策略蒸馏】 ● 知识蒸馏三种方式: - 监督式蒸馏:让小模型直接学习大模型的输出概率分布 - 合成数据蒸馏:用大模型生成高质量训练数据来教小模型 - 在线策略蒸馏:让小模型边学边实践,通过即时反馈不断改进 ● 每种方法的特点: - 监督式就像填鸭式教育,直接告诉答案 - 合成数据像准备精心设计的习题 - 在线策略则更像启发式教 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览