【MIT博士论文】理解与提升机器学习模型的表征鲁棒性

文章预览

现代机器学习模型的脆弱性引起了学术界和公众的广泛关注。在本论文中，我们将系统研究几种机器学习模型的理解与改进，包括平滑模型和通用表征网络。我们特别关注表征鲁棒性的研究，将其定义为给定网络在隐含空间中的“鲁棒性”（或广义上的可信属性）。对于通用表征网络，这对应于表征空间本身，而对于平滑模型，我们将网络的logits视为目标空间。表征鲁棒性是许多可信赖AI领域的基础，例如公平性和鲁棒性。 在本论文中，我们发现随机平滑的可证鲁棒性是以类别不公平性为代价的。我们进一步分析了改进基础模型训练过程的方法及其局限性。对于通用的非平滑表征模型，我们发现自监督对比学习与监督的邻域成分分析之间存在联系，这自然地使我们提出了一个可以实现更高准确性和鲁棒性的通用框架。此外，我们意识到当前基础表 ………………………………