大模型比赛kaggle Prompt Recovery方案解读

自从大模型兴起之后，比赛的路数完全变了，出题方几乎不太会准备标注数据了，虽然我们业务上和llama3也用一堆合成数据，但总感觉和传统的比赛路数差别太大。对主办方来说的好处是，办比赛更简单了，甚至可以无中生有。负责任的弄点蒸馏GPT4，总之LLM比赛有变成了数据爬去，数据合成大赛的感觉。kaggle上办了3届LLM比赛，前两届都有类似的问题。第三届更离谱了，一个好好的大模型比赛，竟然直接变成CTF的感觉了...让我们分析分析，为啥说它是CTF。题目介绍这个题目的输入是两个句子A和B，输出是预测的prompt。这个prompt决定了A改写B的方式，包括风格，特点等等。常见的改写方式包括语言风格转换，替换改写，总结等等。例子：输入句子A：The competition dataset comprises text passages that have been rewritten by the Gemma LLM according to some rewrite_prompt instruction. Th ………………………………