NeurIPS 2024 | 可信大模型新挑战：噪声思维链提示下的鲁棒推理，准确率直降40%

文章预览

该工作提出了一种 针对长尾问题的训练优化策略 ，旨在平衡地提升视觉提示词微调对各个类别的泛化能力。此训练优化策略新提出的基于高斯邻域最小化的损失，能够帮助模型在长尾数据上训练时收敛到更平坦的损失极小值点，平衡地提升模型对头类和尾类的泛化能力，并且几乎不引入额外的计算代价。大量实验证明，提出的高斯邻域最小化方法能够使得模型在长尾分布数据上的损失平面更加平坦，且几乎不增加额外的计算开销。该方法有效平衡了模型对头类和尾类的泛化能力，并在多个长尾任务中展现出卓越的性能和效率优势。 论文标题： Can Language Models Perform Robust Reasoning in Chain-of-thought Prompting with Noisy Rationales?  论文链接： https://arxiv.org/pdf/2410.23856 代码链接： https://github.com/tmlr-group/NoisyRationales slides  链接： https://andrewzhou924.github.io/_pages/data ………………………………