【MIT博士论文】理解与提升机器学习模型的表征鲁棒性

文章预览

来源：专知 本文 约1500字 ，建议阅读 5 分钟 在本论文中，我们进一步分析了改进基础模型训练过程的方法及其局限性。 现代机器学习模型的脆弱性引起了学术界和公众的广泛关注。在本论文中，我们将系统研究几种机器学习模型的理解与改进，包括平滑模型和通用表征网络。我们特别关注表征鲁棒性的研究，将其定义为给定网络在隐含空间中的“鲁棒性”（或广义上的可信属性）。对于通用表征网络，这对应于表征空间本身，而对于平滑模型，我们将网络的logits视为目标空间。表征鲁棒性是许多可信赖AI领域的基础，例如公平性和鲁棒性。 在本论文中，我们发现随机平滑的可证鲁棒性是以类别不公平性为代价的。我们进一步分析了改进基础模型训练过程的方法及其局限性。对于通用的非平滑表征模型，我们发现自监督对比学习与监督的邻域成分 ………………………………