今天看啥  ›  专栏  ›  集智书童

​比LoRA快50%,大模型微调易如反掌!

集智书童  · 公众号  ·  · 2024-05-15 09:00
以下文章来源于  AI 视界引擎 :LoRA将微调技术带火了,但它的能力仍未达到全参数微调水平,也较难进行理论性质分析。港科大LMFlow团队突破其局限性,发布了全新优化算法LISA,核心在于层重要性采样思想,比LoRA内存成本更少、性能速度更快,一条指令超级简单!研梦非凡于5月16日,特邀了LLM专家杨导师,独家上线《AI前沿论文系列—LISA:利用层重要性采样、实现LLM内存高效微调》直播课。从LISA的研究背景、算法研究,再到实验结果、代码展示,带大家丝滑上手大模型微调!扫码找助教预约直播👇🏻免费领160+篇精选大模型论文(包括LLM,加速微调等,下面还有更多福利!)前沿论文直播课观看直播课福利参加本次直播的同学都将获得1小时导师meeting的福利(助教+导师)!原价2999,福利价9.9元!赶紧带着你的目标区位、科研方向来!活动时间 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照