AI agent 治理定义哪些身份可以在什么条件下执行哪些操作,需要什么审批、限制、证据和恢复措施。有效策略可以转换为可执行规则和测试,而“agent 必须负责任地行事”无法做到这一点。
策略应围绕具体操作和后果编写,再与权限、审批门禁、费用控制、遥测、评估和事故响应连接。
OWASP 的过度代理权指南要求尽量减少工具功能、权限和自主程度,并在下游执行授权。治理决定允许的边界,工程负责让它真正生效。
从能力清单开始
列出每个已部署 agent、所有者、环境、所代表用户、可见工具、数据源、凭据、外部目标、模型与提示词版本,以及最大自主操作范围。没有聊天界面的后台 agent 和内部工具也要包括在内。
为每项操作记录:
- 主体和租户;
- 资源和操作;
- 条件和数值限制;
- 是否需要审批,以及谁可以审批;
- 强制执行点;
- 审计证据和保留时间;
- 例外负责人和过期时间;
- 失败、取消和恢复行为。
这份清单连接了策略语言与 agent 控制面。
按后果对操作分类
| 类别 | 示例 | 默认控制 |
|---|---|---|
| 读取 | 获取自己拥有的订单 | 范围受限的身份、数据最小化、审计元数据 |
| 可恢复写入 | 更新草稿记录 | 授权、幂等性、有限自主程度 |
| 外部通信 | 发送邮件或发布内容 | 收件人和内容约束,必要时审批 |
| 财务操作 | 购买、退款或配置付费容量 | 金额和周期限制、审批、结果核对 |
| 破坏性操作 | 删除数据或撤销访问 | 窄范围权限、明确审批、可用时采用可恢复路径 |
| 特权管理 | 更改策略、凭据、计费或所有权 | 独立身份、严格审批、详细审计 |
这张表只是起点,不是通用风险评分。读取可能暴露敏感数据,可恢复的草稿更新也可能几乎没有影响。还需加入数据分类、对租户的承诺和工作流上下文。
将策略表达为决策契约
一条具体规则可以这样写:
如果经过身份验证的用户拥有客服角色,客服 agent 可以为所属租户的一笔订单执行一次不超过规定阈值的退款。更高金额或重复退款需要财务审批。每次尝试都使用操作 ID,并记录策略版本和结果。
工程团队可以实现并测试这条规则,运维团队可以调查,业务负责人也能质疑阈值。阈值和策略版本应放在受控配置中,而不是散落在提示词里。
提示词可以向模型解释规则,但资源所有权、金额、频率、角色和审批必须由后端强制执行。
治理数据与模型输入
定义 agent 可以检索哪些数据类别、发送给各模型提供商哪些数据、在记忆中保留什么、在 trace 中记录什么,以及向工具公开什么。记录检索内容来源,并将其视为不受信任的输入。
为提示词、记忆、产物、评估 fixture、trace 和备份规定删除、纠正和保留路径。限制离线评估使用生产数据,并要求对源自事故的用例脱敏。
Agent 安全指南介绍了凭据和下游授权控制。
对模型、提示词、工具和策略做版本管理
任何一项变化都可能改变 agent 行为。每次运行都应记录其版本,并在晋级前运行相关评估套件。提示词和工具契约也要有回滚路径,而不只是应用代码。
扩大权限、外部目标、财务限制或自主操作的变更需要明确负责人和审核。即使提示词相同,新模型也可能改变工具选择,因此应将它视为受治理的行为变更。
让证据可查询
治理证据应关联策略决策、审批、工具调用、后端操作和结果。保存稳定标识符和脱敏事实。不要仅仅为了让审计记录显得完整,就收集完整提示词或个人数据。
明确谁能访问证据,以及保留多长时间。包含大范围跨租户数据的审计系统本身也是高权限入口。
为例外设置期限
例外应记录负责人、受影响 agent、原因、补偿性控制、开始时间、过期时间和复审条件,并尽可能自动过期。没有日期的“临时”访问通常会未经审核就变成新策略。
反复出现的例外说明基础策略或产品工作流需要调整。
将策略连接到事故和评估
事故处置路径应停止新运行、撤销凭据、确定受影响操作、保留证据、核对结果、恢复数据、通知相关方并创建回归用例。
生产环境 agent 检查清单将这些控制转换为工作流级审核。每次重大事故都应推动策略、强制执行点、告警、运行手册或评估变得更明确。
端到端测试一句策略
选择包含数值、操作或审批的策略,在隔离环境中分别测试允许情况、边界情况、未授权租户、过期审批和重复操作。确认后端决策与审计证据都符合书面规则。
下方的提示词会针对当前仓库执行这项转换。如果无法确定强制执行点和验收测试,说明策略仍只是指导,而不是治理。