網誌
可靠性與生產環境

發佈日期 更新日期

Anshu 及 Arag

AI 代理治理:自主軟件政策

以 Markdown 閱讀

AI 代理治理定義哪些身份可以在甚麼條件下、經過何種批准、限制、證據和復原程序,執行哪些操作。實用的政策可以轉化為可執行規則和測試;「代理必須負責任地行事」則無法做到。

政策應圍繞具體操作和後果撰寫,再連接至權限、批准閘道、支出控制、遙測、評估和事故應對。

OWASP 的 Excessive Agency 指南要求縮小工具功能、權限和自主程度,並在下游執行授權。治理決定允許的邊界,工程則把它落實。

從能力清單開始

列出每個已部署的代理、擁有者、環境、所代表的用戶、可見工具、數據來源、憑證、外部目的地、模型和提示版本,以及最大自主操作範圍。也要包括沒有聊天介面的背景代理和內部工具。

每項操作都應記錄:

  • 主體和租戶;
  • 資源和操作;
  • 條件和數值限制;
  • 是否需要批准,以及誰可以批准;
  • 執行位置;
  • 審計證據和保留期限;
  • 例外負責人和到期時間;
  • 失敗、取消和復原行為。

這份清單會成為政策文字與代理控制平面之間的對照圖。

按後果分類操作

類別 例子 預設控制措施
讀取 檢索自己擁有的訂單 限定範圍的身份、數據最小化、審計元數據
可復原寫入 更新草稿紀錄 授權、冪等性、範圍受限的自主程度
對外通訊 傳送電郵或發佈內容 收件人和內容限制,必要時要求批准
財務操作 購買、退款或佈建付費容量 金額和期間限制、批准、對賬
具破壞性的操作 刪除數據或撤銷存取權限 收窄權限、明確批准,支援時使用可復原路徑
特權管理 變更政策、憑證、計費或擁有權 獨立身份、嚴格批准、詳細審計

這張表只是起點,並非通用風險分數。讀取操作可能暴露敏感數據,而可復原的草稿更新可能影響甚微。還要加入數據分類、對租戶的承諾和工作流程情境。

把政策表達為決策合約

具體規則可以寫成:

當已驗證的用戶具備客戶服務角色時,支援代理可以針對其租戶擁有的訂單,在文件列明的門檻內退款一次。金額較高或重複退款需要財務批准。每次嘗試都使用操作 ID,並記錄政策版本和結果。

工程團隊可以實作並測試這條規則,營運團隊可以調查,業務負責人也可以質疑門檻。門檻和政策版本應放在受控配置中,而不要散落在提示內。

提示可以向模型解釋規則,但資源擁有權、金額、頻率、角色和批准必須由後端執行。

治理數據和模型輸入

定義代理可以檢索哪些數據類別、傳送給哪些模型供應商、保留在記憶中、放進追蹤,以及公開給工具。記錄檢索內容的來源,並把它視為不受信任的輸入。

為提示、記憶、產物、評估 fixture、追蹤和備份定義刪除、修正和保留路徑。限制離線評估使用的生產環境數據,並要求從事故衍生的案例先移除識別數據。

代理安全指南涵蓋憑證和下游授權控制。

為模型、提示、工具和政策建立版本

其中任何一個介面改變,都可能改變代理行為。在每次執行中記錄其版本,並在發佈前要求通過相關評估套件。提示和工具合約也需要回復路徑,不能只為應用程式碼提供。

擴大權限、外部目的地、財務限制或自主操作的變更,需要明確的負責人和審查。即使提示相同,新模型仍可能改變工具選擇,因此也應視為受治理的行為變更。

讓證據可以查詢

治理證據應連接政策決定、批准、工具呼叫、後端操作和結果。儲存穩定的識別碼和經遮蔽的事實。不要只為令審計記錄看似完整,便收集完整提示或個人數據。

定義誰可以存取證據,以及證據的保留期限。包含大量跨租戶數據的審計系統,本身會形成另一個特權介面。

為例外設定時限

例外應列明負責人、受影響的代理、原因、補償控制措施、開始時間、到期時間和審查條件。在可行情況下讓例外自動到期。沒有日期的「臨時」存取權,往往會在未經審查的情況下變成新政策。

把反覆出現的例外視為基本政策或產品工作流程需要修訂的證據。

把政策連接至事故和評估

事故處理路徑應停止新的執行、撤銷憑證、識別受影響的操作、保存證據、對賬結果、復原數據、通知必要對象,並建立回歸案例。

生產環境代理檢查清單把這些控制措施轉化為工作流程層級審查。每宗有實質影響的事故都應令政策、執行位置、警示、操作手冊或評估變得更準確。

從頭到尾測試一句政策

選擇一條包含數字、操作或批准的政策,在隔離環境中嘗試允許案例、邊界案例、未獲授權的租戶、過期批准和重複操作。確認後端決定和審計證據符合書面規則。

下方提示會對目前的儲存庫執行這項轉化。如果無法指出執行位置和驗收測試,該政策便仍是指引,而不是治理。