神经架构中的可微凸优化层：基础与展望

文章预览

1 背景 假设我们想训练一个模型来解决一个结构化任务，给定一组输入输出序列，但没有显式的约束或规则知识。在这种情况下，典型的做法可能是使用前馈网络，例如卷积神经网络（CNN），从数据中学习模式。为了学习并遵循规则，我们可能尝试使用正则化或健壮的损失函数来惩罚违反规则的行为。然而，若没有来自损失函数的完美调节的奖励信号，模型可能会容忍无效的解，从而导致过拟合，因为模型可能会过度依赖与任务无关的模式，这些模式无法泛化。如果我们能够将一个可学习的组件集成到模型中，使其直观地学习任务的规则并确保输出符合这些规则，我们可以期望提高模型的泛化能力，因为约束将不依赖于特定的输入分布，并在训练过程中进行全局优化。然而，在普通的前馈网络中，并没有通用的机制来集成复杂的可学习硬约束。只 ………………………………