【AI知识点】什么是大模型的test-time？

文章预览

最近总是看到模型的“test-time compute”，一头雾水，学习之后终于懂了！ 要了解大模型的test-time，先要从丹尼尔·卡尼曼的经典著作《思考，快与慢》说起。其核心是两个思维模式——System 1 和 System 2。 🔸 什么是System 1 与 System 2？ System 1：我们的直觉反应模式，快速、自动、无需太多思考，就像你看到熟悉的面孔时瞬间认出😊。 System 2：当面对复杂问题时，我们会动脑筋，慢慢思考、逻辑推理，就像解一道难题时全神贯注🤔。 🔸 AI中的对应关系 在AI领域，我们通常把模型的train-time（训练时间）看作是类似System 1的阶段——模型在这个阶段通过大量数据学习基本知识和模式，建立起快速反应的“直觉”。 而test-time（测试时间）则类似于System 2。传统上，模型在测试阶段只依靠训练好的参数迅速作出预测，但现在通过test-time技术（例如重复采样、 ………………………………