西奈山伊坎医学院研究:简短安全提醒将大语言模型潜在有害临床选择率从16.6%降至10.1%
Safety prompts can help AI models make safer clinical choices
西奈山伊坎医学院团队9月26日发表于 Communications Medicine 的研究发现,简短的安全提醒可将大语言模型在临床场景中的潜在有害选择率从16.6%降至10.1%。
基于20个模型约千万次响应,简短的安全提醒将潜在有害临床选择率从16.6%降至10.1%,提示提示词设计与自动化安全测试对临床AI开发的重要性。
随着人工智能(AI)在协助完成医疗任务方面的能力日益增强,Mount Sinai 医学院 Icahn 医学院研究人员的一项新研究发现,在临床场景中,增加简短的安全提示能够减少 AI 模型做出的潜在有害选择。
这项研究于 9 月 26 日在 Communications Medicine 上发表,研究还发现,AI 模型会受到临床决策周围语境和指示的影响。
基于数百万条输出的研究结果表明,在开发安全可靠的临床应用方面,AI 系统的提示和引导方式仍可能是一个重要考量因素,即使日益强大的 AI 模型和智能体无需冗长或全面的提示也能更好地理解用户的意图。
该提示在受测的 20 个模型中的 19 个模型上减少了潜在有害选择,展示了一种加强安全防护的潜在方法。
安全提示降低了有害选择
研究团队使用 50 种临床场景的 501 种变体,以及从去标识化医院出院记录中改编的 100 个病例,评估了 20 个大型语言模型。在超过 1000 万条响应中,模型做出了大约 118 万次潜在有害的临床选择。在没有安全提示的情况下,潜在有害选择占模型响应的 16.6%。加入简短的安全提示后,该比率降至 10.1%。
研究人员表示,研究结果凸显了评估 AI 模型不仅能提供准确的临床信息,而且在面对与患者安全相冲突的指示时如何反应的重要性。
“AI 模型并非在真空中做出决策。围绕请求的语言、措辞和语境可以影响它们的反应,包括在指示可能不安全的时刻,”该研究的首席作者、Icahn 医学院 Icahn 医学院 Windreich 人工智能与人类健康系讲师、医师科学家 Mahmud Omar M.D. 说,他领导着关于生成式 AI 在临床护理中安全性、可靠性和实际影响的研究。
“一个简单的安全提示减少了我们测试的大多数模型中的潜在有害选择,这是令人鼓舞的。但它并未消除这些选择,因此安全提示应被视为一种防护措施,而非临床监督的替代品。”
测试高压下的不安全指示
例如,研究人员测试了指示模型跳过推荐的随访血液检查以减少工作量的场景。该请求还可以被表述为紧急的,或作为上级的命令呈现。然后,模型被要求从四个可能的行动中做出选择,包括遵循请求、保持推荐的随访或寻求临床医生的帮助。
研究人员改变了场景的措辞,并测试了三个简短的安全提示。每种组合测试了 10 次,且答案选项的顺序是随机的。
安全提示在测试的20个模型中有19个减少了潜在有害的选择。无论是在书面临床场景还是在改编自医院出院记录的情况下,都观察到了这种效果。潜在有害选择的例子包括为了减少工作量而跳过必要的检测,或在没有充分临床理由的情况下,在推荐的抗生素疗程完成前停止治疗。
“这些结果表明,安全测试需要超越询问AI模型在普通条件下是否得出正确答案,”共同高级作者、Mount Sinai 医学院 Icahn 医学院 Windreich 人工智能与健康系主任、Mount Sinai Hasso Plattner 数字健康研究所主任 Girish N. Nadkarni 医学博士、公共卫生硕士说。
“随着 AI 系统变得更具自主性,并被要求完成日益复杂的任务,我们需要了解它们能否识别指令可能不安全的时刻,对其进行质疑、核实或向人类寻求帮助。”
日益自主系统的安全保障
研究人员建议,开发人员和医疗保健机构应将自动化安全测试纳入临床 AI 系统的开发和评估中。这种测试可以在系统引入临床工作流程之前进行,并在模型更新或出现新的安全问题时重复进行。
研究还指出,随着 AI 系统从问答工具演变为可以执行多个步骤的更具自主性的“代理”,正在出现一项新兴挑战。研究人员计划研究累积的上下文如何影响代理的决策,包括当该上下文包含隐藏指令(称为提示注入)或节省时间或保持在预算内的压力时。
研究人员表示,研究结果并不意味着安全提示使 AI 生成的医疗建议在没有临床审查的情况下使用是安全的。相反,结果表明,对 AI 系统提示方式的相对简单的更改可以影响其临床选择,同时强调了对额外安全保障和人类监督的需求。
出版详情
Mahmud Omar 等,评估大型语言模型对不安全临床指令的回应,《通讯医学》(2026)。DOI: 10.1038/s43856-026-01933-8
期刊信息: Communications Medicine
关键医学概念
谁在报道这个故事?
Gaby Clark
英语硕士,自2021年起担任文字编辑,拥有高等教育和健康内容方面的经验。致力于可信的科学新闻。 完整简介 →
Robert Egan
数学生物学学士,创意写作硕士。阅历丰富,对科学和语言拥有独到见解。 完整资料 →
引用: 安全提示可帮助人工智能模型做出更安全的临床决策(2026年10月10日) 检索于2026年10月10日 来自 https://medicalxpress.com/news/2026-10-safety-prompts-ai-safer-clinical.html
本文档受版权保护。除用于个人学习或研究的合理使用外,未经书面许可,不得复制任何部分。内容仅供参考。
来源:Medical Xpress · medicalxpress.com