【斯坦福博士论文】大模型时代的概率推理

来源：专知本文约1700字，建议阅读5分钟在这篇论文中，我们通过设计与模型规模兼容的算法成分来应对这一挑战，如并行化、摊销推理和神经函数逼近。最近在生成式人工智能领域的进展见证了模型大小和数据维度的急剧膨胀。然而，这些大型模型随之而来的是增加的计算需求，这禁止了许多传统概率推理算法的使用。迫切需要新的推理算法，这些算法足够高效，能够在大型模型和现代架构上运行，同时也足够强大，能够处理高维度和大数据集。在这篇论文中，我们通过设计与模型规模兼容的算法成分来应对这一挑战，如并行化、摊销推理和神经函数逼近。我们提出了多种技术来改进采样和推理，从而实现更快的样本速度、样本查询的更好灵活性，以及对推理目标的更准确估计。我们的方法适用于各种架构的大型模型，如扩散模型、自回归模型 ………………………………