大型语言模型中的隐私考量

文 / Nicholas Carlini，Google Research 研究科学家基于机器学习的语言模型经过训练后，能够预测一句话中的下一个单词，随着能力越来越强大，这样的语言模型也变得更加普遍和实用，推动问答系统和翻译等多个应用领域取得突破性的进展。但语言模型在不断发展的同时，难以预料的新风险也随之而来，研究社区因此必须积极主动地想出新方法来缓解潜在问题。问答系统https://arxiv.org/abs/1906.08237翻译https://ai.googleblog.com/2020/06/recent-advances-in-google-translate.html其中一种新风险是模型可能会泄露其训练数据中的细节。尽管这可能是所有大型语言模型都存在的隐患，但如果使用私人数据训练的模型公开可用，可能还会造成其他问题。因为这些数据集的体量很大（数千亿字节）并且提 ………………………………