NeurIPS 2024 | 利用概念激活向量破解大模型的安全对齐，人大&港科大揭示LLM重要安全风...

主要观点总结

本文介绍了基于安全概念激活向量（SCAV）的框架在揭示大语言模型安全漏洞方面的应用。通过对模型的嵌入空间进行定义，SCAV框架能够在嵌入层和提示层引导攻击，显著提升攻击成功率和攻击迁移性。实验表明，SCAV方法比现有方法更有效，并指出了大模型安全机制的薄弱点。

关键观点总结

关键观点1: 介绍SCAV框架的基本原理和应用背景

SCAV框架通过精确解读大模型的安全机制来指导攻击，能够生成嵌入级和提示级的攻击，自动调整扰动参数，并显著提升攻击成功率和响应质量。

关键观点2: SCAV框架的攻击效果评估

在七个开源大模型的评估中，基于关键词匹配标准的平均攻击成功率（ASR）为99.14%，研究表明基于SCAV生成的攻击提示具有跨模型迁移的潜力。

关键观点3: 对大模型安全机制的见解

研究者提出了关于大模型安全机制的三个见解，包括现有防御方法无法完全消除SCAV所揭示的安全漏洞，大模型的安全机制可能与嵌入空间的线性可分性有关，以及不同白盒大模型的安全机制可能存在共性。