AI 代理治理定義哪些身分能在什麼條件下、經過何種核准、限制、證據及復原程序,執行哪些動作。實用的政策能轉譯成可執行規則與測試;「代理必須負責任地行動」則無法做到。
政策應圍繞具體動作與後果撰寫,再連接到權限、核准閘道、支出控制、遙測、評估及事故應變。
OWASP 的 Excessive Agency 指南要求縮小工具功能、權限與自主程度,並在下游執行授權。治理決定允許的邊界,工程則將它實作出來。
從能力清查開始
列出每個已部署代理、擁有者、環境、所代表的使用者、可見工具、資料來源、憑證、外部目的地、模型與提示詞版本,以及最大的自主動作。也要包含沒有對話介面的背景代理與內部工具。
每項動作都應記錄:
- 主體與租戶;
- 資源與操作;
- 條件與數值限制;
- 是否需要核准,以及誰可以核准;
- 執行位置;
- 稽核證據及保留期間;
- 例外擁有者與到期時間;
- 失敗、取消及復原行為。
這份清查會成為政策語言與代理控制平面之間的對照圖。
依後果分類動作
| 類別 | 範例 | 預設控制 |
|---|---|---|
| 讀取 | 取得自己擁有的訂單 | 範圍受限的身分、資料最小化、稽核中繼資料 |
| 可復原寫入 | 更新草稿記錄 | 授權、冪等性、範圍受限的自主程度 |
| 外部溝通 | 寄送電子郵件或發布內容 | 收件者與內容限制,必要時核准 |
| 財務動作 | 購買、退款或佈建付費容量 | 金額與期間限制、核准、結果對應 |
| 破壞性動作 | 刪除資料或撤銷存取權 | 狹窄權限、明確核准,支援時使用可復原路徑 |
| 特權管理 | 變更政策、憑證、計費或所有權 | 獨立身分、強核准、詳細稽核 |
這張表只是起點,不是通用風險分數。讀取可能暴露敏感資料,而可復原的草稿更新可能幾乎沒有後果。還要加入資料分類、對租戶的承諾及工作流程上下文。
將政策表達成決策合約
具體規則可能寫成:
當已驗證使用者具備客服角色時,客服代理可以針對其租戶擁有的訂單,在文件規定的門檻內執行一次退款。金額較高或重複退款需要財務核准。每次嘗試都使用操作 ID,並記錄政策版本與結果。
工程團隊能實作並測試這條規則,維運團隊能調查,業務擁有者也能質疑門檻。門檻與政策版本應放在受控設定中,不要散落於提示詞。
提示詞可以向模型解釋規則,但資源所有權、金額、頻率、角色及核准必須由後端執行。
治理資料與模型輸入
定義代理可以擷取哪些資料類別、傳送給哪些模型供應商、保留在記憶中、放進追蹤,以及公開給工具。記錄擷取內容的來源,並把它視為不受信任的輸入。
為提示詞、記憶、成果、評估 fixture、追蹤及備份定義刪除、修正與保留路徑。限制離線評估中的正式環境資料,並要求事故衍生案例先去識別。
代理安全指南涵蓋憑證及下游授權控制。
為模型、提示詞、工具及政策建立版本
任何一個介面改變,都可能改變代理行為。在每次執行中記錄它們的版本,並在發布前要求通過相關評估套件。提示詞與工具合約也需要回復路徑,不只應用程式碼需要。
擴大權限、外部目的地、財務限制或自主動作的變更,需要明確擁有者與審查。即使提示詞相同,新模型仍可能改變工具選擇,因此也應視為受治理的行為變更。
讓證據可以查詢
治理證據應連接政策決策、核准、工具呼叫、後端操作及結果。儲存穩定識別碼與遮蔽後的事實。不要只為了讓稽核記錄看起來完整,就收集完整提示詞或個人資料。
定義誰能存取證據,以及保留多久。包含廣泛跨租戶資料的稽核系統,本身就是特權介面。
為例外設定時限
例外應指出擁有者、受影響代理、原因、補償控制、開始時間、到期時間及審查條件。可行時自動讓它到期。沒有日期的「暫時」存取,常會在未經審查下變成新政策。
將反覆出現的例外視為基本政策或產品工作流程需要修訂的證據。
將政策連接到事故與評估
事故處理路徑應停止新執行、撤銷憑證、識別受影響操作、保存證據、對應結果、復原資料、通知必要對象,並建立回歸案例。
正式環境代理檢查清單將這些控制轉成工作流程層級審查。每次有意義的事故都應讓政策、執行位置、警示、runbook 或評估變得更精確。
從頭到尾測試一句政策
選擇一條含數字、動作或核准的政策,在隔離環境中嘗試允許案例、邊界案例、未授權租戶、過期核准及重複操作。確認後端決策與稽核證據符合書面規則。
下方提示詞會針對目前儲存庫執行這項轉譯。如果無法指出執行位置及驗收測試,該政策就仍是指引,不是治理。