Big Model Weekly | 第25期

文章预览

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 01 Scaling and evaluating sparse autoencoders 稀疏自动编码器通过从稀疏瓶颈层重建激活值，提供了一种有希望的无监督方法，用于从语言模型中提取可解释的特征。由于语言模型学习了许多概念，自动编码器需要非常大，才能恢复所有相关特征。然而，研究自动编码器扩展特性的难点在于需要平衡重建和稀疏性目标以及存在死节点的问题。作者提出使用k-稀疏自动编码器来直接控制稀疏性，从而简化调优并改善重建-稀疏性前沿。此外，本文提出了一些改进，使即使在作者所尝试的最大规模下，也只有少数死节点。使用这些技术，研究者发现了关于自动编码器规模和稀疏性的清晰缩放规律。文章还引入了几种新的特征质量评估指标，这些指标基于假设特征的恢复、激活模式的可解释性以及下游效果的稀疏 ………………………………