对抗训练

文章预览

在许多情况下， 神经网络 在独立同分布的测试集上进行评估时已经达到人类表现。因此，自然要怀疑这些模型在这些任务上是否获得了真正的人类层次的理解。为了探测网络对底层任务的理解层次，我们可以搜索这个模型错误分类的例子。 Szegedy et al. (2014b) 发现，精度达到人类水平的 神经网络 在通过优化过程故意构造的点上的误差率接近100%，模型在这个输入点 t′ 的输出与附近的数据点 t非常不同。在许多情况下， t′ 与 t 非常近似，人类观察者不知道原始样本和 对抗样本 ( adversarial example ) 之间的差异，但是网络会作出非常不同的预测。 对抗样本 有很多的影响，例如计算机安全。然而，它们在 正则化 的背景下很有意思，因为我们可以通过 对抗训练 ( adve ………………………………