专栏名称: 歸藏的AI工具箱
互联网科技博主 产品设计师、模型设计师、 不会代码的独立开发者。 关注人工智能、LLM 、 Stable Diffusion 和设计。
今天看啥  ›  专栏  ›  歸藏的AI工具箱

昨天 AK 那边点赞最高的论文是港中文提出的新训练优化器 Ada-20240628105515

歸藏的AI工具箱  · 微博  ·  · 2024-06-28 10:55
    

文章预览

2024-06-28 10:55 本条微博链接 昨天 AK 那边点赞最高的论文是港中文提出的新训练优化器 Adam-mini。 #ai# #llm# Adam-mini可以大幅优化模型训练的效率: 将AdamW的内存占用减少了45%-50%。 同时在大型语言模型的预训练、微调和RLHF任务上,达到了与AdamW相当或更好的性能。 Adam-mini显著提高了训练吞吐量,例如在Llama2-7B预训练中 ... ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览