EMNLP'24 最佳论文解读 | 大语言模型的预训练数据检测：基于散度的校准方法

文章预览

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 点击  阅读原文  观看作者讲解回放！ 作者简介 张伟超 ，中国科学院计算所网络数据科学与技术重点实验室三年级直博生 内容简介 近年来，大语言模型（LLMs）的训练数据规模在不断扩大，而模型开发者却越来越不愿意公开训练数据的使用信息，这种情况使得审查大模型的数据使用过程是否符合法律法规面临困难。近期，在大模型上进行预训练数据检测的任务开始受到关注，即给定一段文本和一个预训练数据未知的大模型，仅依靠黑盒访问条件来推断该文本被用于大模型的预训练过程。Min-K% Prob方法在一些基准数据集上取得了最好的效果，该方法假设非训练文本往往包含一些具有低词元概率的异常词。然而，该方法容易将包含较多频繁词的非训练文本误分类为训练文本。受信息检索领域的diver ………………………………