AI 에이전트 스택에는 추론, 도구, ID, 메모리, 실행, 애플리케이션 인프라, 텔레메트리를 위한 별도 계층이 있습니다. 유용한 경계는 공급자 분류가 아니라 한 시스템의 책임이 끝나고 다른 시스템이 결과를 검증할 수 있는 지점입니다.
작은 애플리케이션은 여러 계층을 한 프로세스에서 구현할 수 있습니다. 인가, 상태, 재시도, 한도의 책임자가 명확하다면 문제없습니다.
스택 구성도
flowchart TD
U[User goal] --> A[Agent loop and model]
A --> T[Tools and integrations]
P[Identity and policy] --> T
T --> R[Execution runtime]
T --> B[Application backend]
M[Memory and durable state] <--> A
M <--> R
R --> B
A --> O[Telemetry and evaluations]
T --> O
R --> O
B --> O
이 그림은 요청 파이프라인이 아닙니다. 도구가 백엔드를 직접 호출할 수도 있고, 워크플로가 도구를 선택하기 전에 메모리를 사용할 수도 있으며, 텔레메트리는 모든 분기를 관찰합니다. 화살표는 명시적인 계약이 필요한 의존성을 나타냅니다.
추론과 오케스트레이션
모델은 목표를 해석하고 작업을 제안합니다. 에이전트 루프는 모델에 제공할 컨텍스트와 도구를 정하고, 선택된 호출을 실행하고, 결과를 기록하고, 실행을 종료합니다. 모델 선택은 동작에 영향을 주지만 시간 초과, 단계 한도, 종료는 에이전트 루프의 책임입니다.
이런 한도는 프롬프트 밖에 두세요. 열 번 호출한 뒤 멈추라는 모델 지시보다 열한 번째 호출을 거부하는 런타임이 더 확실합니다.
도구와 통합
도구는 에이전트의 결정을 외부 기능으로 바꿉니다. 도구는 작업을 나타내고, 입력을 검증하고, 안정된 결과를 반환하고, 호출자가 절대 봐서는 안 되는 자격 증명을 숨겨야 합니다. MCP는 도구 명세를 통해 표준 탐색 및 호출 계약을 제공합니다.
프로토콜은 delete_workspace가 있어야 하는지, 승인해야 하는지를 결정하지 않습니다. 이는 애플리케이션과 정책의 결정으로 남습니다. REST를 MCP로 변환하는 튜토리얼은 기존 API를 감싸면서 이 경계를 유지하는 방법을 보여 줍니다.
ID와 정책
ID는 누가 작업하는지 답합니다. 정책은 그 ID가 지금 무엇을 할 수 있는지 답합니다. MCP 게이트웨이가 앞단에서 도구를 필터링하더라도 최종 인가 규칙은 다운스트림 서비스가 강제해야 합니다.
이 계층은 파괴적이거나 비용이 발생하는 작업 전 승인도 담당합니다. 도구 호출 후의 승인은 게이트가 아니라 감사 기록일 뿐입니다.
메모리와 영속 상태
메모리는 이후 모델 호출에 관련 정보를 제공합니다. 영속 상태는 완료된 작업, 대기 중인 작업, 외부 효과를 기록합니다. 검색된 컨텍스트는 작업 원장이 아니므로 둘을 섞으면 복구 문제가 생깁니다.
벡터 인덱스는 메모 검색에 유용할 수 있습니다. 하지만 결제가 완료됐다는 사실을 기록하는 유일한 장소여서는 안 됩니다. 에이전트 메모리 필드 가이드는 작업 컨텍스트, 의미 메모리, 에피소드 기록, 워크플로 상태를 구분합니다.
실행 런타임
런타임은 에이전트 루프와 생성 코드를 실행합니다. 큐, 체크포인트, 재시도, 샌드박스, 네트워크 제어, 수명 제한을 제공할 수 있습니다. 내구성 실행과 샌드박싱은 서로 다른 문제를 해결합니다. 하나는 중단을 견디고, 다른 하나는 접근 범위를 제한합니다.
Temporal은 내구성 실행을 장애가 발생해도 워크플로 진행 상황을 보존하는 방식으로 설명합니다. 샌드박스에는 별도의 프로세스, 파일 시스템, 네트워크, 비밀 값, 시간 경계가 필요합니다.
애플리케이션 인프라
에이전트가 만드는 애플리케이션에도 Postgres, 오브젝트 스토리지, 인증, 호스팅, 이메일, 검색, 외부 API가 필요합니다. 에이전트 네이티브 인프라는 구조화된 프로비저닝과 범위가 제한된 프로젝트 자격 증명을 통해 이런 리소스를 제공합니다.
Cohesivity는 이 계층에 있습니다. 업스트림 공급자 자격 증명을 서버 측에 보관하면서 코딩 에이전트에 지원되는 백엔드 리소스를 위한 프로젝트 컨텍스트 하나를 제공합니다. 더 넓은 AI 에이전트 인프라 가이드는 이 계층이 나머지 스택과 연결되는 방식을 설명합니다.
텔레메트리와 평가
텔레메트리는 사용자 목표, 모델 출력, 도구 결정, 정책 결과, 실행, 백엔드 효과를 하나의 트레이스로 연결해야 합니다. 평가는 고정된 작업을 재실행해 배포 전에 동작 변화를 찾습니다.
OpenTelemetry의 GenAI 시맨틱 규칙은 모델 및 에이전트 활동에 공통 속성을 정의합니다. 이 활동을 실제 효과와 연결하려면 애플리케이션에 안정적인 테넌트, 에이전트, 작업, 정책 식별자가 여전히 필요합니다.
검토해야 할 경계
다음 세 가지 경계에서 문제가 반복됩니다.
- 에이전트 루프와 도구 래퍼가 모두 재시도해 논리적 작업 하나가 여러 번 기록됩니다.
- 게이트웨이는 도구를 필터링하지만 다운스트림 API는 광범위한 자격 증명을 신뢰하고 리소스를 인가하지 않습니다.
- 메모리 계층에는 작업 요약이 있지만 작업 완료 여부를 나타내는 영속 레코드가 없습니다.
워크플로 하나를 그리고 각 동작의 책임자를 하나씩 지정하세요. 아래 프롬프트는 코드를 변경하지 않고 책임이 빠졌거나 중복된 곳을 찾습니다.