部落格
可靠性與正式環境

發布於 更新於

Anshu 和 Arag

AI 代理治理:自主軟體政策

以 Markdown 閱讀

AI 代理治理定義哪些身分能在什麼條件下、經過何種核准、限制、證據及復原程序,執行哪些動作。實用的政策能轉譯成可執行規則與測試;「代理必須負責任地行動」則無法做到。

政策應圍繞具體動作與後果撰寫,再連接到權限、核准閘道、支出控制、遙測、評估及事故應變。

OWASP 的 Excessive Agency 指南要求縮小工具功能、權限與自主程度,並在下游執行授權。治理決定允許的邊界,工程則將它實作出來。

從能力清查開始

列出每個已部署代理、擁有者、環境、所代表的使用者、可見工具、資料來源、憑證、外部目的地、模型與提示詞版本,以及最大的自主動作。也要包含沒有對話介面的背景代理與內部工具。

每項動作都應記錄:

  • 主體與租戶;
  • 資源與操作;
  • 條件與數值限制;
  • 是否需要核准,以及誰可以核准;
  • 執行位置;
  • 稽核證據及保留期間;
  • 例外擁有者與到期時間;
  • 失敗、取消及復原行為。

這份清查會成為政策語言與代理控制平面之間的對照圖。

依後果分類動作

類別 範例 預設控制
讀取 取得自己擁有的訂單 範圍受限的身分、資料最小化、稽核中繼資料
可復原寫入 更新草稿記錄 授權、冪等性、範圍受限的自主程度
外部溝通 寄送電子郵件或發布內容 收件者與內容限制,必要時核准
財務動作 購買、退款或佈建付費容量 金額與期間限制、核准、結果對應
破壞性動作 刪除資料或撤銷存取權 狹窄權限、明確核准,支援時使用可復原路徑
特權管理 變更政策、憑證、計費或所有權 獨立身分、強核准、詳細稽核

這張表只是起點,不是通用風險分數。讀取可能暴露敏感資料,而可復原的草稿更新可能幾乎沒有後果。還要加入資料分類、對租戶的承諾及工作流程上下文。

將政策表達成決策合約

具體規則可能寫成:

當已驗證使用者具備客服角色時,客服代理可以針對其租戶擁有的訂單,在文件規定的門檻內執行一次退款。金額較高或重複退款需要財務核准。每次嘗試都使用操作 ID,並記錄政策版本與結果。

工程團隊能實作並測試這條規則,維運團隊能調查,業務擁有者也能質疑門檻。門檻與政策版本應放在受控設定中,不要散落於提示詞。

提示詞可以向模型解釋規則,但資源所有權、金額、頻率、角色及核准必須由後端執行。

治理資料與模型輸入

定義代理可以擷取哪些資料類別、傳送給哪些模型供應商、保留在記憶中、放進追蹤,以及公開給工具。記錄擷取內容的來源,並把它視為不受信任的輸入。

為提示詞、記憶、成果、評估 fixture、追蹤及備份定義刪除、修正與保留路徑。限制離線評估中的正式環境資料,並要求事故衍生案例先去識別。

代理安全指南涵蓋憑證及下游授權控制。

為模型、提示詞、工具及政策建立版本

任何一個介面改變,都可能改變代理行為。在每次執行中記錄它們的版本,並在發布前要求通過相關評估套件。提示詞與工具合約也需要回復路徑,不只應用程式碼需要。

擴大權限、外部目的地、財務限制或自主動作的變更,需要明確擁有者與審查。即使提示詞相同,新模型仍可能改變工具選擇,因此也應視為受治理的行為變更。

讓證據可以查詢

治理證據應連接政策決策、核准、工具呼叫、後端操作及結果。儲存穩定識別碼與遮蔽後的事實。不要只為了讓稽核記錄看起來完整,就收集完整提示詞或個人資料。

定義誰能存取證據,以及保留多久。包含廣泛跨租戶資料的稽核系統,本身就是特權介面。

為例外設定時限

例外應指出擁有者、受影響代理、原因、補償控制、開始時間、到期時間及審查條件。可行時自動讓它到期。沒有日期的「暫時」存取,常會在未經審查下變成新政策。

將反覆出現的例外視為基本政策或產品工作流程需要修訂的證據。

將政策連接到事故與評估

事故處理路徑應停止新執行、撤銷憑證、識別受影響操作、保存證據、對應結果、復原資料、通知必要對象,並建立回歸案例。

正式環境代理檢查清單將這些控制轉成工作流程層級審查。每次有意義的事故都應讓政策、執行位置、警示、runbook 或評估變得更精確。

從頭到尾測試一句政策

選擇一條含數字、動作或核准的政策,在隔離環境中嘗試允許案例、邊界案例、未授權租戶、過期核准及重複操作。確認後端決策與稽核證據符合書面規則。

下方提示詞會針對目前儲存庫執行這項轉譯。如果無法指出執行位置及驗收測試,該政策就仍是指引,不是治理。