注册    登录
专栏名称: 爱可可-爱生活
知名互联网资讯博主 北邮PRIS模式识别实验室陈老师
今天看啥
公众号rss, 微信rss, 微信公众号rss订阅, 稳定的RSS源
目录
今天看啥  ›  专栏  ›  爱可可-爱生活

归一化Transformer (nGPT) 通过在超球面上进行表-20241130055931

爱可可-爱生活  · 微博  · AI  · 2024-11-30 05:59
    

文章预览

2024-11-30 05:59 本条微博链接 归一化Transformer (nGPT) 通过在超球面上进行表示学习和变度量优化，显著加快了Transformer的训练速度，并提升了数值稳定性，其反直觉的训练效率提升值得深入研究。 [LG]《nGPT: Normalized Transformer with Representation Learning on the Hypersphere》I Loshchilov, C Hsieh, S Sun, B Ginsburg [NVIDIA] (2024) 网页链接 ………………………………

原文地址：访问原文地址
快照地址： 访问文章快照
总结与预览地址：访问总结与预览
推荐文章
黄建同学  ·  AI 数据库 Chat2DB-20250511093306
20 小时前
新智元  ·  ChatGPT：对不起，我让美国大学完蛋了
21 小时前
爱可可-爱生活  ·  本文通过区分LLM输出概率在分布估计（针对文本或世界事件）与响应-20250511060710
昨天
量子位  ·  多模态=AGI入场券？阶跃星辰姜大昕：死磕基座大模型，探索多模态理解生成一体化
昨天
量子位  ·  鹅厂开源视频生成大杀器！参考图主体精准复刻，还能编辑现有视频
2 天前
文名  ·  这位省长的最新讲话，再次成为“爆文”！文字简洁、句式简单、语言简明，文风正，感情浓
11 月前
高工机器人  ·  参会报名通道丨2024（第三届）高工焊接机器人技术与应用峰会
9 月前
财经故事荟  ·  咪咕音乐焕新出发：双网融合，两翼齐飞，AI赋能，生态先行
5 月前
澎湃新闻  ·  拼多多“喀什叙事”：边境快递代收人的光荣与梦想
5 月前
投资家  ·  又一位华人大佬，握住了美国芯！
1 月前
关于   移动版   ·   Py中国   ·   RSS之家   ·   CodingPro   ·   Code   ·   Link之家   ·   卧龙AI搜索   ·   小百科   ·   小百科（海外）   ·   Link管理
今天看啥 - 公众号rss, 微信rss, 微信公众号rss订阅, 稳定的RSS源
© 2025 ~ 沪ICP备11025650号