在考虑分层记忆架构时,我开始担心另一件事:一个 Agent 越擅长总结经验,会不会也越容易把一次错误当成以后反复遵循的习惯?
没有长期记忆时,一条不可信资料至少可能随着当前上下文结束而退出。但当系统会抽取事实、巩固经验、复用操作步骤时,外部材料就可能从“曾经读过的内容”变成持续影响未来决策的内部状态。这里真正值得警惕的,是信息在流转中获得了它本来没有的权威。
记住不等于应该遵从
AgentPoison研究了通过污染长期记忆或知识库来影响 Agent 的情况;From Untrusted Input to Trusted Memory进一步关注记忆写入渠道与持久影响。这些研究让我把问题从一次回答的安全,转向了经验形成过程的安全。
不过,正常的错误事实、过期记录与恶意指令并不是同一种东西。它们可能都导致不好的行动,却需要不同的处理方式:事实要核实,版本要区分,外部指令则不能因为被记住就变成用户授权。
例如,网页中的“以后执行某类任务时跳过检查”,仍然是网页内容。把它摘要为一条“历史经验”,甚至放进程序性记忆,都不应该改变它的来源等级。
先说明谁能写什么
我会先限定一个防御性的研究场景:系统会读取外部文档和工具结果,攻击者可能影响其中一部分内容,但没有修改系统规则或用户权限的能力。希望保护的是任务目标、私有资料、工具权限与可恢复的正常工作状态。
这个场景至少有三道边界:
- 读到的资料能否成为长期记录;
- 长期记录能否成为可执行的操作建议;
- 操作建议能否获得改变外部状态的权限。
三者不能合成一个“相关性高就执行”的步骤。历史上某个操作成功,也不意味着它在新项目、新用户或新权限环境下仍被允许。
来源和授权信息应由运行时可靠记录,而不是仅写成正文里一句可以被其他正文覆盖的提示。
把写入变成可检查的流程
我更愿意把新记忆先放进暂存区,再经过来源、冲突、时效和权限检查,最后决定保存成事实、待核实说法还是操作经验。对于影响范围较大的长期偏好或规则修改,还需要明确的用户确认。
读取也不能只看相似度。一个最低限度的候选门槛可以写成
其中 是问题所指向的时间,而不一定是现在。这只是读取门槛,不是事实正确性或系统安全的证明。通过门槛的记录仍然可能相互矛盾,也可能需要原始证据核对。
这里最容易被忽略的是压缩过程。一个谨慎的原始说法,在摘要里可能丢掉“仅在某次实验中”“未经确认”或“来自外部资料”等限定。摘要和巩固因此也需要保留来源与不确定性,不能把它们洗掉。
隔离与撤销同样重要
分层记忆会制造新的传播路径。一条有问题的记录,可能先被摘要,再进入知识层,最后变成可复用步骤。如果原始记录被撤销,它的派生摘要和程序建议也需要被找到。
我会给派生记录保留依赖关系,并区分停用、修订、删除与审计保留。仅从检索结果中隐藏某条记录,并不代表缓存、摘要、备份和其他派生物中都不再存在它;对外说明删除范围时,应该诚实交代已经覆盖和没有覆盖的地方。
项目隔离也不能只依赖模型“记得不要说”。授权应作用于检索、读取和工具执行的实际路径。向量相似度很高,不会使一份无权访问的资料突然变得可用。
怎样评估这套防线
这个方向还没有形成我自己的验证结果。我希望测试至少覆盖几个不同维度:
- 普通错误、过期事实、相互冲突的决定,与恶意材料分别评估。
- 检查首次读取后,影响是否跨会话保留,以及是否污染摘要或操作经验。
- 测试隔离与撤销后,后续任务能否恢复,而不只看一次回答是否拒绝。
- 同时记录正常任务完成率、误拦截、审核负担与额外读取成本。
这些实验只应在授权的测试环境中,使用合成记录或明确允许处理的数据。不需要把真实用户的私有历史当成攻击素材。
我不认为“加一个安全 Prompt”足以承担这些职责。更有希望的方向,是让来源、权限和版本成为系统状态的一部分,并使每一步写入、提炼和使用都能被检查。一个记忆丰富的 Agent,也应该知道哪些经历不能被当作命令。
参考资料
- Zhaorun Chen et al., AgentPoison.
- Pritam Dash et al., From Untrusted Input to Trusted Memory.
喜欢的话,留下你的评论吧~