【ETHZ博士论文】编码在深度神经网络中的学习算法的可解释性

主要观点总结

本文探讨了深度神经网络，特别是大型语言模型的可解释性问题。作者通过机械解释性（MI）的工具来理解深度神经网络的某些特性，并提供证据，证明通过迭代解释性可以实现这一目标。文章还介绍了三个关键的应用实例，包括理解Transformer的上下文学习特性，改进自回归Transformer的性能，以及提高元学习背景下的解释性和性能。

关键观点总结

关键观点1: 深度神经网络和大型语言模型的可解释性问题

尽管大规模AI系统表现出强大的性能，但它们的工作机制仍然是一个谜团。如何理解和控制这些系统，以及驱动它们的行为是一个关键问题。

关键观点2: 机械解释性（MI）在理解深度神经网络中的作用

作者使用机械解释性的工具来理解深度神经网络的特性，这些工具类似于神经科学家的工具，如分析脑细胞的连接性，测量神经元活动等。

关键观点3: 迭代解释性的重要性

作者提供了一个通过迭代解释性理解深度神经网络的可能路径的证据。这是一个设计、训练和分析AI系统的迭代过程，通过MI获得的洞察力导致更强大和更可解释的模型。

文章预览

我们目前正经历着一场人工智能（AI）革命。生成式AI和特别是大型语言模型（LLMs）的显著改进正在推动这场革命。然而，这些大规模AI系统虽然强大，但更难理解。一旦训练完毕，它们的内部工作机制仍然是一个既迷人又可能令人恐惧的谜团。问题在于，作为这些系统的创造者，我们如何理解和控制它们，以及是什么驱动它们的行为。 在本论文中，我将尝试通过机械解释性（MI）的工具来理解深度神经网络的某些特性 。这些工具让人联想到神经科学家的工具：1）分析脑细胞的连接性（连接组学） 2）测量和分析神经元活动 3）测量在进行中的计算中的主动干预的效果。尽管对大型深度学习模型的严格理解尚不可及，但在本论文中，我将提供通过迭代解释性实现这一目标的可能路径的证据：一个设计、训练和分析AI系统的迭代过程，其中通过MI获得 ………………………………