OpenAI公布破解大模型黑盒的方法：稀疏自动编码器

文章预览

单击上方“ 图灵人工智能 ”，选择“星标”公众号 您想知道的人工智能干货，第一时间送达 继 Anthropic 之后， OpenAI 也公开了破解大模型“黑盒”的方法，而且两者的方法不谋而合。 今天我们还不清楚如何理解语言模型中的神经活动。 OpenAI分享了一种改进的方法，用于发现大量有助于人类可解释的“特征”——这些特征是人类可以解释的活动模式。 OpenAI表示自己的方法比现有工作更具扩展性，OpenAI用它在GPT-4中发现了1600万个特征。 // 解释神经网络的挑战 与大多数人类创造物不同，我们并不真正了解神经网络的内部工作原理。 例如，工程师可以根据汽车零部件的规格直接设计、评估和修理汽车，以确保安全性和性能。 然而，神经网络不是直接设计的，我们设计训练它们的算法。由此产生的网络尚未得到很好的理解，也无法轻易分解成可识别的 ………………………………