安全研究
微软研究称少量神经元改写可能留下休眠后门
Microsoft Research 在 11 月 10 日发布威胁研究,称改写代理模型里很少的一部分休眠神经元,就可能植入平时通过评估、遇到触发才执行命令的后门。微软写明尚未观察到有人把这一手法用于真实攻击。缓解步骤是它自己的建议。
微软在 11 月 10 日发布一项安全研究。Microsoft Research 称,改写模型里很少的一部分处于休眠状态的神经元,少于 10 个,并放入一段短指令后,模型仍能通过常规评估;一旦上下文出现特定触发内容,就会执行攻击者的命令。研究认为,代理经常在无人值守、权限较高的环境里运行,因此权重有没有被改过值得检查。
微软写明,目前没有观察到攻击者在真实环境里使用这一手法。这不是一起已经命名的在野攻击,而是实验室里做出的威胁和一组防护建议。博客把这项工作和 Anthropic、麻省理工学院近期的相关研究放在一起,并称研究过程中使用了 Claude Code 和 Opus 4.5。那是微软对研究工具的描述,不是 Claude 的产品发布。
建议包括:部署前和每次更新后,把模型与声明的原始版本对比。正常微调通常大范围、分散地改变权重;植入的神经元则往往让少数权重变化很大。来源不明的第三方微调、合并和量化版本,在检查之前应视为不可信。还可以限制代理权限,把生成的代码放在隔离环境里,并让高影响操作经过人工批准。文中不少步骤指向微软自己的云和终端产品。通过检查可以降低风险,并不保证行为一定安全。内存只要够运行模型,就够做这种权重修改。
少于 10 个神经元是这项实验里的规模,不是所有后门的上限。正常微调通常改动很分散,异常植入则往往集中在少数权重上。微软建议把模型当作软件依赖来审计,并限制代理能执行的命令。博客没有给出漏报率。
原文链接
- MicrosoftDetecting sleeper agents hiding in AI model neurons
- Microsoft Research 的帖文