博客
可靠性与生产环境

发布于 更新于

Anshu 和 Arag

AI Agent 治理:自主软件的策略

以 Markdown 阅读

AI agent 治理定义哪些身份可以在什么条件下执行哪些操作,需要什么审批、限制、证据和恢复措施。有效策略可以转换为可执行规则和测试,而“agent 必须负责任地行事”无法做到这一点。

策略应围绕具体操作和后果编写,再与权限、审批门禁、费用控制、遥测、评估和事故响应连接。

OWASP 的过度代理权指南要求尽量减少工具功能、权限和自主程度,并在下游执行授权。治理决定允许的边界,工程负责让它真正生效。

从能力清单开始

列出每个已部署 agent、所有者、环境、所代表用户、可见工具、数据源、凭据、外部目标、模型与提示词版本,以及最大自主操作范围。没有聊天界面的后台 agent 和内部工具也要包括在内。

为每项操作记录:

  • 主体和租户;
  • 资源和操作;
  • 条件和数值限制;
  • 是否需要审批,以及谁可以审批;
  • 强制执行点;
  • 审计证据和保留时间;
  • 例外负责人和过期时间;
  • 失败、取消和恢复行为。

这份清单连接了策略语言与 agent 控制面。

按后果对操作分类

类别 示例 默认控制
读取 获取自己拥有的订单 范围受限的身份、数据最小化、审计元数据
可恢复写入 更新草稿记录 授权、幂等性、有限自主程度
外部通信 发送邮件或发布内容 收件人和内容约束,必要时审批
财务操作 购买、退款或配置付费容量 金额和周期限制、审批、结果核对
破坏性操作 删除数据或撤销访问 窄范围权限、明确审批、可用时采用可恢复路径
特权管理 更改策略、凭据、计费或所有权 独立身份、严格审批、详细审计

这张表只是起点,不是通用风险评分。读取可能暴露敏感数据,可恢复的草稿更新也可能几乎没有影响。还需加入数据分类、对租户的承诺和工作流上下文。

将策略表达为决策契约

一条具体规则可以这样写:

如果经过身份验证的用户拥有客服角色,客服 agent 可以为所属租户的一笔订单执行一次不超过规定阈值的退款。更高金额或重复退款需要财务审批。每次尝试都使用操作 ID,并记录策略版本和结果。

工程团队可以实现并测试这条规则,运维团队可以调查,业务负责人也能质疑阈值。阈值和策略版本应放在受控配置中,而不是散落在提示词里。

提示词可以向模型解释规则,但资源所有权、金额、频率、角色和审批必须由后端强制执行。

治理数据与模型输入

定义 agent 可以检索哪些数据类别、发送给各模型提供商哪些数据、在记忆中保留什么、在 trace 中记录什么,以及向工具公开什么。记录检索内容来源,并将其视为不受信任的输入。

为提示词、记忆、产物、评估 fixture、trace 和备份规定删除、纠正和保留路径。限制离线评估使用生产数据,并要求对源自事故的用例脱敏。

Agent 安全指南介绍了凭据和下游授权控制。

对模型、提示词、工具和策略做版本管理

任何一项变化都可能改变 agent 行为。每次运行都应记录其版本,并在晋级前运行相关评估套件。提示词和工具契约也要有回滚路径,而不只是应用代码。

扩大权限、外部目标、财务限制或自主操作的变更需要明确负责人和审核。即使提示词相同,新模型也可能改变工具选择,因此应将它视为受治理的行为变更。

让证据可查询

治理证据应关联策略决策、审批、工具调用、后端操作和结果。保存稳定标识符和脱敏事实。不要仅仅为了让审计记录显得完整,就收集完整提示词或个人数据。

明确谁能访问证据,以及保留多长时间。包含大范围跨租户数据的审计系统本身也是高权限入口。

为例外设置期限

例外应记录负责人、受影响 agent、原因、补偿性控制、开始时间、过期时间和复审条件,并尽可能自动过期。没有日期的“临时”访问通常会未经审核就变成新策略。

反复出现的例外说明基础策略或产品工作流需要调整。

将策略连接到事故和评估

事故处置路径应停止新运行、撤销凭据、确定受影响操作、保留证据、核对结果、恢复数据、通知相关方并创建回归用例。

生产环境 agent 检查清单将这些控制转换为工作流级审核。每次重大事故都应推动策略、强制执行点、告警、运行手册或评估变得更明确。

端到端测试一句策略

选择包含数值、操作或审批的策略,在隔离环境中分别测试允许情况、边界情况、未授权租户、过期审批和重复操作。确认后端决策与审计证据都符合书面规则。

下方的提示词会针对当前仓库执行这项转换。如果无法确定强制执行点和验收测试,说明策略仍只是指导,而不是治理。