反着用scaling law验证数据：群聊场景指代消歧

本文介绍了在群体聊天中如何通过微调大型语言模型来提高指代消歧的准确度，并开发了一种利用规模化法则原则获取高质量数据的方法。通过对58k真实聊天记录的预处理和2.3k问题的手动标注，利用规模化法则确保了标注的可靠性。其相关脚本、原始数据以及实验跟踪已开源，且已获得用户数据隐私授权。我们之前开源了 LLM 群聊助手茴香豆（以下简称豆哥），它的特点是：设计了一套拒答 pipeline，实用于群聊场景。 能够有效抵抗各种文本攻击、过滤无关话题，累计面对 openmmlab 数千用户运行半年（ 17 个群、7w 条群消息）。这个过程确认了 text2vec 模型更适合反着用工业级开源。 除算法 pipeline 外，还实现对应的 android、web service， License 支持商用成本低。 配合 LLM API 只需要 1.5G 显存此外我们还工程优化了 ReRoPE，llama2 13B 在 A100 单卡上不训练，就可 ………………………………