EMNLP 2023 | LLM工业界快速落地之PromptMix: 一种有效的混合数据增强策略将LLM能力迁移到小模型

大家好，我是HxShine今天分享一篇接受到EMNLP 2023的文章，Title: PromptMix: A Class Boundary Augmentation Method for Large Language Model Distillation。这篇论文致力解决文本分类中训练数据有限的问题。这篇文章提出了一种名为PromptMix的数据增强方法来解决文本分类在训练数据有限的情况下的问题。 该方法分为两步：1）生成靠近类别边界的挑战性文本增强数据；2）运用基于提示的LLM分类器对增强数据重新标记，提升生成数据标签的准确性。 本文在四个文本分类数据集上进行测试：Banking77、TREC6、Subjectivity（SUBJ）和Twitter Complaints，实验表明，PromptMix方法在所有数据集上都取得了很高的准确率，尤其是在B77和SUBJ数据集上，其性能与NN+GPT3.5相当，甚至在某些情况下超过了NN+GPT3.5。一、概述Title: PromptMix: A Class Boundary Augmentation Method for Large Language Model Distillation URL: https://arx ………………………………