G.O.S.S.I.P 阅读推荐 2024-10-28 Query Provenance Analysis

文章预览

新的一周开始了，今天我们介绍北京大学计算机学院操作系统实验室完成并投稿的，关于使用溯源分析技术（Provenance Analysis）保护深度学习模型的工作 Query Provenance Analysis: Efficient and Robust Defense against Query-based Black-box Attacks ，这项工作已经被S 2025接收。该工作深入研究了针对云端模型的黑盒攻击（Query-based Black-box Attacks），发现了现有检测与防护技术的本质缺陷，进而提出了一种基于查询溯源分析的高效且鲁棒的实时防御技术，QPA。 该论文研究了在云端模型易受黑盒攻击的情况下，如何保护模型安全。模型运营商将模型部署在云端，为用户提供服务。用户可以通过API向模型提交请求，并得到模型的返回结果，这些结果可以是分类任务的最终标签或标签的概率分布。攻击者可以利用这些返回结果的信息，对请求进行微调，经过多轮迭代后，生成针 ………………………………