AI agent governance는 어떤 identity가 어떤 condition 아래에서 어떤 action을 수행할 수 있는지, 어떤 approval, limit, evidence, recovery가 필요한지 정의합니다. 유용한 policy는 적용 가능한 rule과 test로 변환할 수 있어야 합니다. “agents must act responsibly” 같은 문장으로는 불가능합니다.
구체적인 action과 consequence를 중심으로 policy를 작성한 뒤 permission, approval gate, spend control, telemetry, evaluation, incident response에 연결하세요.
OWASP의 Excessive Agency 가이드는 tool functionality, permission, autonomy를 최소화하면서 downstream에서 authorization을 적용할 것을 요구합니다. governance가 허용된 boundary를 정하고 engineering이 이를 구현합니다.
capability inventory부터 시작하세요
deploy된 모든 agent, owner, environment, represented user, visible tool, data source, credential, external destination, model 및 prompt version, maximum autonomous action을 나열하세요. chat interface가 없는 background agent와 internal tool도 포함합니다.
각 action에 다음 내용을 기록하세요.
- subject와 tenant
- resource와 operation
- condition과 numerical limit
- approval 필요 여부와 승인할 수 있는 사람
- enforcement point
- audit evidence와 retention
- exception owner와 expiry
- failure, cancellation, recovery behavior
이 목록은 policy language와 agent control plane을 연결하는 지도가 됩니다.
consequence에 따라 action을 분류하세요
| 분류 | 예시 | 기본 control |
|---|---|---|
| Read | 소유한 order 조회 | scoped identity, data minimization, audit metadata |
| Reversible write | draft record update | authorization, idempotency, bounded autonomy |
| External communication | email 전송 또는 content publish | recipient 및 content constraint, 필요한 경우 approval |
| Financial action | purchase, refund, 유료 capacity provision | amount 및 period limit, approval, reconciliation |
| Destructive action | data delete 또는 access revoke | narrow permission, explicit approval, 지원되는 경우 reversible path |
| Privileged administration | policy, credential, billing, ownership 변경 | separate identity, strong approval, detailed audit |
이 table은 시작점이지 보편적인 risk score가 아닙니다. read가 sensitive data를 노출할 수 있고 reversible draft update는 영향이 작을 수 있습니다. data classification, tenant commitment, workflow context를 추가하세요.
policy를 decision contract로 표현하세요
구체적인 rule은 다음처럼 작성할 수 있습니다.
support agent는 인증된 user에게 support role이 있고 order를 자신의 tenant가 소유할 때 문서화된 threshold 이내의 refund 한 건을 처리할 수 있습니다. 더 크거나 반복된 refund에는 finance approval이 필요합니다. 모든 attempt는 operation ID를 사용하고 policy version과 outcome을 기록합니다.
engineering은 이를 구현하고 테스트할 수 있습니다. operations는 조사할 수 있고 business owner는 threshold를 검토할 수 있습니다. threshold와 policy version은 prompt 곳곳에 흩뿌리지 말고 controlled configuration에 두세요.
prompt가 model에 rule을 설명할 수는 있지만 resource ownership, amount, frequency, role, approval은 backend에서 적용해야 합니다.
data와 model input을 관리하세요
agent가 어떤 data class를 검색하고, 각 model provider에 전송하고, memory에 보관하고, trace에 넣고, tool에 노출할 수 있는지 정의하세요. retrieved content의 provenance를 기록하고 untrusted input으로 취급합니다.
prompt, memory, artifact, evaluation fixture, trace, backup 전체에 deletion, correction, retention path를 지정하세요. offline evaluation에서 production data 사용을 제한하고 incident-derived case는 sanitize하도록 요구합니다.
agent 보안 가이드는 credential과 downstream authorization control을 다룹니다.
model, prompt, tool, policy version을 관리하세요
이 surface 가운데 하나라도 바뀌면 agent behavior가 달라질 수 있습니다. 각 run에 version을 기록하고 promotion 전에 관련 evaluation suite를 요구하세요. application code뿐 아니라 prompt와 tool contract에도 rollback path를 유지합니다.
permission, external destination, financial limit, autonomous action을 확장하는 변경에는 명시적인 owner와 review가 필요합니다. 같은 prompt에 새 model을 사용해도 tool choice가 달라질 수 있으므로 governed behavior change로 취급하세요.
evidence를 query할 수 있게 만드세요
governance evidence는 policy decision, approval, tool call, backend operation, result를 연결해야 합니다. 안정적인 identifier와 redaction된 fact를 저장하세요. audit record를 완전해 보이게 하려고 전체 prompt나 personal data를 수집하지 마세요.
evidence에 접근할 수 있는 사람과 retention 기간을 정의하세요. 광범위한 cross-tenant data를 가진 audit system은 그 자체가 privileged surface입니다.
exception에 시간 제한을 두세요
exception에는 owner, 영향을 받는 agent, reason, compensating control, start, expiry, review condition을 명시해야 합니다. 가능하면 자동으로 expire하세요. 날짜 없는 “temporary” access는 검토 없이 새 policy가 되기 쉽습니다.
반복되는 exception은 기본 policy나 product workflow를 수정해야 한다는 evidence로 추적하세요.
policy를 incident 및 evaluation에 연결하세요
incident path는 새 run을 중지하고, credential을 revoke하고, 영향받은 operation을 식별하고, evidence를 보존하고, outcome을 reconcile하고, data를 recover하고, 필요한 당사자에게 알리고, regression case를 만들어야 합니다.
production agent checklist는 이 control을 workflow-level review로 바꿉니다. 의미 있는 incident가 발생할 때마다 policy, enforcement point, alert, runbook, evaluation 중 하나 이상을 개선해야 합니다.
문장 하나를 처음부터 끝까지 테스트하세요
number, action, approval이 포함된 policy를 고르세요. isolated environment에서 allowed case, boundary case, unauthorized tenant, expired approval, repeated operation을 시도합니다. backend decision과 audit evidence가 작성된 rule과 일치하는지 확인하세요.
아래 프롬프트는 현재 repository를 대상으로 이 변환을 수행합니다. enforcement point와 acceptance test를 식별할 수 없다면 아직 governance가 아니라 guidance에 머물러 있는 policy입니다.