ICML 2024 | 拥抱机器学习中的负面结果

主要观点总结

本文介绍了来自Paulina Sierak团队的一篇论文，讨论了机器学习研究中评估标准的局限性，并呼吁发布负面结果以提高机器学习研究社区的科学产出。文章指出，纯粹的预测性能并不能很好地反映文献的价值，甚至可能引发一些问题。作者介绍了发布负面结果的优势，并提供了推动社区朝着常态化发布负面结果方向发展的措施。此外，文章还讨论了负面结果在机器学习研究中的重要性，包括如何评估新方法的有效性、缓解可重复性危机以及促进对研究领域更全面和细致的理解。最后，文章回应了一些关于发表负面结果的反事实观点。

关键观点总结

关键观点1: 介绍论文背景及主要观点

本文讨论了机器学习领域评估标准的问题，指出预测性能作为唯一标准可能引发的问题，并呼吁发布负面结果以提高研究社区的产出。

关键观点2: 负面结果的定义和类型

作者区分了两种重要的负面结果子类型：新方法负面结果（NMNR）和现有方法负面结果（EMNR）。NMNR指新方法在选定测试问题上未能超越现有最新方法的投稿，EMNR则是在现有方法被认为是最新技术的情况下，证明其性能低于预期的情况。

关键观点3: 忽视负面结果导致的问题

忽视负面结果会导致许多问题，如发表偏差、社区低效率、机器学习研究与应用脱节以及为研究人员设置问题的激励机制。

关键观点4: 鼓励发布负面结果的好处

发布负面结果可以帮助缓解可重复性危机，增加EMNR论文的数量，这些论文会详细测试或重现先前工作的结果。此外，它还可以促进对研究领域更全面和细致的理解。

关键观点5: 回应反事实观点

作者回应了一些关于发表负面结果的反事实观点，包括担心这会降低领域的整体研究质量、认为了解一种方法在特定环境下不起作用的价值有限以及担心新的科学价值评估标准会出现并引入新的偏见。

文章预览

DRUG AI 今天为大家介绍的是来自Paulina Sierak团队的一篇论文。学术文献提出新的机器学习方法时，通常主要通过在特定问题上表现出的预测性能来评估。在这篇立场论文中，作者认为仅凭预测性能并不能很好地反映文献的价值。将预测性能作为唯一标准甚至会引发一些问题，比如整个机器学习研究社区的低效率，以及为研究人员设定了错误的激励。因此，作者呼吁发布“负面”结果，这可以帮助缓解这些问题，并提高机器学习研究社区的科学产出。为了证明这一立场，作者介绍了发布负面结果的优势，并提供了具体措施，推动社区朝着常态化发布负面结果的方向发展。 机器学习在很大程度上是一门经验科学：如果某种方法有效并表现良好，通常被认为是好的结果，值得发表。另一方面，如果一种新方法或算法无法在典型的基准数据集上超越最新技 ………………………………