论文阅读：对抗训练（Adversarial Training）

1. 引言对抗训练（adversarial training）是增强神经网络鲁棒性的重要方式。在对抗训练的过程中，样本会被混合一些微小的扰动（改变很小，但是很可能造成误分类），然后使神经网络适应这种改变，从而对对抗样本具有鲁棒性。在图像领域，采用对抗训练通常能提高鲁棒性，但是通常都会造成泛化性降低，也就是说，虽然对对抗样本的抵抗力提升了，但是有可能影响普通样本的分类能力。神奇的是，在语言模型领域却观察到不一致的结果——对抗训练既提高了鲁棒性也提高了泛化性。所以对抗训练还值得研究一下，毕竟对效果也是有提升的。我们首先来看一下对抗训练的一般性原理，对抗训练可以概括为如下的最大最小化公式：内层（中括号内）是一个最大化，其中  ………………………………