AI 代理治理定義哪些身份可以在甚麼條件下、經過何種批准、限制、證據和復原程序,執行哪些操作。實用的政策可以轉化為可執行規則和測試;「代理必須負責任地行事」則無法做到。
政策應圍繞具體操作和後果撰寫,再連接至權限、批准閘道、支出控制、遙測、評估和事故應對。
OWASP 的 Excessive Agency 指南要求縮小工具功能、權限和自主程度,並在下游執行授權。治理決定允許的邊界,工程則把它落實。
從能力清單開始
列出每個已部署的代理、擁有者、環境、所代表的用戶、可見工具、數據來源、憑證、外部目的地、模型和提示版本,以及最大自主操作範圍。也要包括沒有聊天介面的背景代理和內部工具。
每項操作都應記錄:
- 主體和租戶;
- 資源和操作;
- 條件和數值限制;
- 是否需要批准,以及誰可以批准;
- 執行位置;
- 審計證據和保留期限;
- 例外負責人和到期時間;
- 失敗、取消和復原行為。
這份清單會成為政策文字與代理控制平面之間的對照圖。
按後果分類操作
| 類別 | 例子 | 預設控制措施 |
|---|---|---|
| 讀取 | 檢索自己擁有的訂單 | 限定範圍的身份、數據最小化、審計元數據 |
| 可復原寫入 | 更新草稿紀錄 | 授權、冪等性、範圍受限的自主程度 |
| 對外通訊 | 傳送電郵或發佈內容 | 收件人和內容限制,必要時要求批准 |
| 財務操作 | 購買、退款或佈建付費容量 | 金額和期間限制、批准、對賬 |
| 具破壞性的操作 | 刪除數據或撤銷存取權限 | 收窄權限、明確批准,支援時使用可復原路徑 |
| 特權管理 | 變更政策、憑證、計費或擁有權 | 獨立身份、嚴格批准、詳細審計 |
這張表只是起點,並非通用風險分數。讀取操作可能暴露敏感數據,而可復原的草稿更新可能影響甚微。還要加入數據分類、對租戶的承諾和工作流程情境。
把政策表達為決策合約
具體規則可以寫成:
當已驗證的用戶具備客戶服務角色時,支援代理可以針對其租戶擁有的訂單,在文件列明的門檻內退款一次。金額較高或重複退款需要財務批准。每次嘗試都使用操作 ID,並記錄政策版本和結果。
工程團隊可以實作並測試這條規則,營運團隊可以調查,業務負責人也可以質疑門檻。門檻和政策版本應放在受控配置中,而不要散落在提示內。
提示可以向模型解釋規則,但資源擁有權、金額、頻率、角色和批准必須由後端執行。
治理數據和模型輸入
定義代理可以檢索哪些數據類別、傳送給哪些模型供應商、保留在記憶中、放進追蹤,以及公開給工具。記錄檢索內容的來源,並把它視為不受信任的輸入。
為提示、記憶、產物、評估 fixture、追蹤和備份定義刪除、修正和保留路徑。限制離線評估使用的生產環境數據,並要求從事故衍生的案例先移除識別數據。
代理安全指南涵蓋憑證和下游授權控制。
為模型、提示、工具和政策建立版本
其中任何一個介面改變,都可能改變代理行為。在每次執行中記錄其版本,並在發佈前要求通過相關評估套件。提示和工具合約也需要回復路徑,不能只為應用程式碼提供。
擴大權限、外部目的地、財務限制或自主操作的變更,需要明確的負責人和審查。即使提示相同,新模型仍可能改變工具選擇,因此也應視為受治理的行為變更。
讓證據可以查詢
治理證據應連接政策決定、批准、工具呼叫、後端操作和結果。儲存穩定的識別碼和經遮蔽的事實。不要只為令審計記錄看似完整,便收集完整提示或個人數據。
定義誰可以存取證據,以及證據的保留期限。包含大量跨租戶數據的審計系統,本身會形成另一個特權介面。
為例外設定時限
例外應列明負責人、受影響的代理、原因、補償控制措施、開始時間、到期時間和審查條件。在可行情況下讓例外自動到期。沒有日期的「臨時」存取權,往往會在未經審查的情況下變成新政策。
把反覆出現的例外視為基本政策或產品工作流程需要修訂的證據。
把政策連接至事故和評估
事故處理路徑應停止新的執行、撤銷憑證、識別受影響的操作、保存證據、對賬結果、復原數據、通知必要對象,並建立回歸案例。
生產環境代理檢查清單把這些控制措施轉化為工作流程層級審查。每宗有實質影響的事故都應令政策、執行位置、警示、操作手冊或評估變得更準確。
從頭到尾測試一句政策
選擇一條包含數字、操作或批准的政策,在隔離環境中嘗試允許案例、邊界案例、未獲授權的租戶、過期批准和重複操作。確認後端決定和審計證據符合書面規則。
下方提示會對目前的儲存庫執行這項轉化。如果無法指出執行位置和驗收測試,該政策便仍是指引,而不是治理。