프로덕션에서 AI 에이전트를 실행하려면 범위 제한 접근, 실행 한도, 안전한 쓰기, 내구성 복구, 격리된 코드 실행, 엔드투엔드 트레이스, 반복 가능한 평가, 검증된 시스템 중지 수단이 필요합니다. 사람이 지켜보는 데모 한 번의 성공으로는 이런 제어를 거의 입증할 수 없습니다.
에이전트가 누군가 모든 단계를 지켜보지 않는 상태에서 작성자가 예상하지 못한 입력을 만날 때 프로덕션이 시작됩니다. 릴리스 게이트는 실패하거나 반복되거나 권한이 필요한 경로를 테스트해야 합니다.
자율성보다 먼저 ID를 확립하세요
각 에이전트, 배포, 세션에 호출자를 식별하고 테넌트, 리소스, 작업 범위를 제한하는 자격 증명을 제공하세요. 데이터 소유 서비스에서 이 한도를 강제해야 합니다. 도구 설명과 시스템 프롬프트는 모델의 컨텍스트이지 백엔드의 인가 수단이 아닙니다.
OWASP의 Excessive Agency 지침은 도구 기능, 권한, 자율성을 최소화하라고 권고합니다. 순서대로 적용하세요. 워크플로에 필요 없는 도구를 제거하고, 남은 도구의 자격 증명 범위를 좁힌 뒤, 영향이 큰 작업 전에 승인을 추가합니다.
AI 에이전트 보안 가이드는 자격 증명 범위, 비밀 값 처리, 감사 주체를 자세히 설명합니다.
코드에서 실행 범위를 제한하세요
총 실행 시간, 모델 비용, 도구 호출, 반복 시도, 동시 실행, 출력 크기에 서버가 강제하는 한도를 설정하세요. 데이터를 쓰거나 비용을 발생시키는 도구에는 더 좁은 한도를 적용합니다. 인가 및 검증 오류가 반복되면 재시도하지 말고 중지하세요.
예산을 모두 사용한 뒤에도 모델은 다음 단계를 요청할 수 있습니다. 런타임이 이를 거부해야 합니다. 전역 속도 제한만으로 부족한 이유도 여기에 있습니다. 폭주하는 워크플로의 속도를 늦출 수는 있어도 전체 피해를 제한하지는 못합니다.
모든 외부 효과를 복구 가능하게 만드세요
재시도할 수 있는 모든 쓰기 작업에는 논리적 작업 ID나 멱등성 키가 필요합니다. 결과를 서버 측에 저장하고 같은 작업을 재시도하면 저장된 결과를 반환하세요. 클라이언트에서 시간 초과가 발생하면 효과를 다시 실행하기 전에 작업 레코드를 확인합니다.
확인된 외부 효과 뒤에는 체크포인트를 기록하세요. 이메일 발송이나 배포 생성 후 프로세스가 실패하면 복구된 워크플로가 해당 단계를 반복하지 않고 그다음부터 재개해야 합니다.
Temporal의 내구성 실행 문서는 저장된 워크플로 상태가 프로세스 장애를 견디는 방식을 설명합니다. 외부 서비스가 요청을 수락한 뒤 워커가 실패할 수 있으므로 애플리케이션에는 멱등 작업이 여전히 필요합니다.
생성되었거나 신뢰할 수 없는 코드를 격리하세요
에이전트가 생성한 코드는 애플리케이션 프로세스 밖에서 실행하세요. 샌드박스는 다음 경계를 정의해야 합니다.
- 존재하고 유지되는 파일 시스템 경로
- 프로세스가 접근할 수 있는 호스트와 프로토콜
- 주입되는 비밀 값과 유지 시간
- CPU, 메모리, 프로세스, 총 실행 시간 한도
- 실행 종료 후 아티팩트와 로그 보관 기간
컨테이너화만으로는 이 질문에 답할 수 없습니다. AI 에이전트 샌드박싱 가이드는 각 경계를 테스트로 바꿉니다.
결정부터 효과까지 추적하세요
사용자 요청, 모델 호출, 검색된 컨텍스트, 도구 선택, 정책 결정, 도구 실행, 다운스트림 API 작업을 하나의 트레이스로 기록하세요. 안정적인 테넌트, 에이전트, 실행, 도구 호출, 작업 식별자를 포함하고 자격 증명과 민감한 도구 출력은 제외합니다.
OpenTelemetry의 GenAI 규칙은 모델, 에이전트, 도구 활동을 위한 필드를 정의합니다. 이를 바탕으로 어떤 주체가 어떤 리소스를 변경했는지 답하는 데 필요한 제품 식별자를 추가하세요.
변경을 배포하기 전에 동작을 평가하세요
대표 작업을 작은 집합으로 고정하세요. 예상 도구 선택, 금지된 작업, 승인 지점, 복구 사례, 합격 기준을 포함합니다. 모델, 시스템 프롬프트, 도구 설명, 권한, 재시도 정책, 메모리 동작을 바꾼 뒤 이 집합을 실행하세요.
모델 편차가 중요한 사례는 반복 실행합니다. 한 번의 성공은 사례일 뿐 비율이 아닙니다. 에이전트 평가 가이드는 결정론적 검증과 모델이 판단하는 출력을 결합하는 방법을 설명합니다.
사람이 개입하는 경로를 정의하세요
시스템은 결과가 큰 작업 전에 일시 중지하고 정확한 리소스, 작업, 범위, 예상 효과를 검토자에게 보여 줄 수 있어야 합니다. 에이전트가 혼란에 빠지거나 사용할 수 없을 때도 작동하는 운영자 경로가 필요합니다.
- 새 실행을 중지합니다.
- 현재 실행을 중단합니다.
- 영향을 받은 자격 증명을 폐기합니다.
- 실행이 건드린 모든 리소스와 작업을 찾습니다.
- 완료된 효과를 복원하거나 보상하거나 상위 담당자에게 전달합니다.
격리된 환경에서 이 경로를 연습하세요. 아무도 실행해 보지 않은 런북은 아직 가설입니다.
준비도 점수가 아니라 릴리스 게이트를 사용하세요
| 게이트 | 필요한 증거 |
|---|---|
| 접근 | 범위 제한 자격 증명과 다운스트림 인가 테스트 |
| 쓰기 | 멱등성과 결과 불명 상황의 복구 테스트 |
| 자율성 | 서버가 강제하는 실행 한도와 승인 정책 |
| 실행 | 샌드박스 경계와 정리 테스트 |
| 복구 | 체크포인트 재개와 자격 증명 폐기 테스트 |
| 진단 | 성공과 실패 각각 하나의 완전한 트레이스 |
| 동작 | 금지된 작업이 포함된 반복 가능한 평가 집합 |
종합 점수는 누락된 제어 하나를 가릴 수 있습니다. 릴리스할 워크플로에서 각 행을 통과 또는 실패로 판단하세요.
아래 프롬프트는 프로덕션을 테스트에 끌어들이지 않고 가장 위험한 워크플로의 릴리스 게이트를 만듭니다.