今天看啥  ›  专栏  ›  斌叔OKmath

你的 LLM 可能比你想象的还要稀疏!很高兴宣布推出 TEAL,-20240901080715

斌叔OKmath  · 微博  ·  · 2024-09-01 08:07
    

文章预览

2024-09-01 08:07 本条微博链接 你的 LLM 可能比你想象的还要稀疏! 很高兴宣布推出 TEAL,这是一种简单的无需训练的方法,在 Llama-2/3 和 Mistral 模型上实现了高达 40-50% 的模型范围激活稀疏度。结合自定义内核,我们实现了高达 1.53x-1.8x 的端到端加速! Paper: 网页链接 Code: 网页链接 Blog: 网页链接 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览
推荐文章