北京大学张铭团队-大语言模型-医学图谱推理 | Nature Machine Intelligenc...

主要观点总结

北大计算机学院在Nature子刊发表研究论文，张铭教授团队联合华盛顿大学发现大语言模型可轻易误导大规模医学图谱推理系统。论文开发了名为Scorpius的条件文本生成系统，针对药物-疾病关系生成恶意文本，揭示并评估了大模型误用对医学发现的潜在风险，并开发了防御策略。研究具有紧迫性和重要性。

关键观点总结

关键观点1: 研究背景及意义

随着大模型和知识图谱推理的广泛应用，其潜在风险日益凸显。研究团队的工作具有十分重要且紧迫的研究意义。

关键观点2: 研究成果

研究团队在Nature Machine Intelligence上发表了题为“Poisoning medical knowledge using large language models”的研究论文，开发了Scorpius条件文本生成系统，利用大模型为指定的药物-疾病关系对生成恶意文本。研究发现，仅一篇恶意文本就能显著误导推理系统对药物-疾病关系的认知。

关键观点3: 论文内容及实验

研究团队探究了大语言模型对医学知识图谱的毒害性，通过条件文本生成模型开发Scorpius系统，并针对药物-疾病关系生成恶意摘要。实验表明，该系统能在混合真实论文后影响医学知识图谱的构建，误导使用者对药物-疾病关系的认知。同时，研究也提出了高效的防御手段来减少误导产生的负面影响。

关键观点4: 研究亮点

研究不仅衡量了医学图谱推理系统中各环节的可毒害性，还从defender设计和数据增强的角度对减少毒害做出了探索。揭示了基于公开数据集的医学图谱推理存在的高危漏洞，为在大模型时代开展更可信的医学知识发现开辟了新的研究思路。

关键观点5: 开源与可交互工具

论文链接、Scorpius的训练数据、代码、模型已开源，并提供了可交互服务器，方便研究人员和公众了解和体验。