AI 에이전트 인프라 비용은 모델 토큰, 유료 도구, 실행 시간, 스토리지, 네트워크 사용량, 재시도, 유휴 리소스를 포함한 완료 작업의 비용입니다. 모델 청구서만 추적하면 에이전트가 더 긴 경로를 택하거나 중간에 실패할 때 늘어나는 비용을 놓칩니다.
분모에는 해결된 티켓, 배포된 애플리케이션, 검토된 문서처럼 유용한 결과를 사용해야 합니다. 실패하는 요청이 늘면 요청당 비용이 줄어도 완료 작업당 비용은 커질 수 있습니다.
여섯 가지 비용 요소
모델 토큰
모든 모델 호출에서 입력, 캐시된 입력, 공급자가 제공하는 경우 추론, 출력 토큰을 기록하세요. 가격은 모델마다 다르고 바뀔 수 있으므로 하나의 혼합 단가를 하드코딩하지 말고 저장된 사용량과 버전이 지정된 가격표로 계산합니다.
OpenAI API 요금 같은 공급자 페이지에서 청구 단위를 확인할 수 있습니다. 과거 실행에 적용한 정확한 가격을 자체 레코드에 보관하세요. 오늘 가격으로 예전 실행을 다시 계산하면 과거 비용이 바뀝니다.
유료 도구와 외부 API
검색, 브라우저 세션, 음성, 이메일, 이미지 생성, 지도, 데이터 공급자는 호출, 결과, 분, 바이트 단위로 요금을 부과할 수 있습니다. 하나의 워크플로 트레이스로 동작과 비용을 모두 설명할 수 있도록 에이전트 도구 호출 옆에 공급자 작업을 기록하세요.
모호한 결과를 반환하는 도구는 표시된 단가보다 재시도로 더 큰 비용을 만들 수 있습니다. 잘못된 도구 사용 디버깅 가이드는 선택 실패와 공급자 실패를 구분하는 데 도움이 됩니다.
에이전트와 샌드박스 런타임
활성 CPU 또는 워커 시간, 메모리 사용 시간, 샌드박스 사용 시간, 최소 세션 요금을 계산하세요. 모델의 긴 응답을 기다리는 동안 코드가 실행되지 않아도 샌드박스가 계속 활성 상태일 수 있습니다. 공급자가 전체 수명에 요금을 부과한다면 활성 실행 시간과 전체 수명을 모두 기록합니다.
데이터베이스, 스토리지, 네트워크
영속 서비스는 에이전트 실행 횟수와 무관한 기본 비용을 만듭니다. 데이터베이스 컴퓨팅, 보관 로그, 체크포인트, 벡터 인덱스, 오브젝트 스토리지, 네트워크 이그레스를 포함하세요. 테넌트 사용량, 워크플로 쓰기 횟수, 스토리지 바이트처럼 안정된 규칙으로 공유 리소스를 배분하고 그 규칙을 공개합니다.
재시도와 실패한 실행
attempted cost에는 성공 여부와 관계없이 모든 실행을 포함합니다.
cost per successful task = total attempted cost / successful tasks
100번 중 20번의 실행이 예산을 대부분 사용한 뒤 실패하면 성공한 80개 결과가 그 비용을 떠안습니다. 그래서 프로덕션 에이전트 가이드는 재시도 한도를 비용과 안정성을 함께 제어하는 수단으로 다룹니다.
유휴 리소스
에이전트가 데이터베이스, 배포, 샌드박스를 만들고 제거하지 않을 수 있습니다. 실행 이후에도 남는 리소스, 소유자, 마지막 활동, 정리 기한을 추적하세요. 리소스 레코드를 생성한 워크플로와 연결하지 않으면 실행당 비용 대시보드에서 이를 놓칩니다.
감사할 수 있는 계산식
워크플로 하나에 다음을 계산합니다.
run cost = model + paid tools + runtime + storage allocation + network
completed-task cost =
sum of successful, failed, and retried run costs
divided by completed tasks
중앙값과 p95를 보고하세요. 평균만 보면 소수의 긴 루프가 가려지고, 최댓값은 정상 동작보다 사고 하나를 나타낼 수 있습니다. 최댓값은 별도 알림 사례로 유지하세요.
비용이 발생하는 지점에 예산을 설정하세요
| 비용 원천 | 강제할 수 있는 한도 |
|---|---|
| 모델 사용 | 실행당 토큰, 호출, 금액 |
| 도구 | 도구별 호출 수와 동일한 인자의 반복 횟수 |
| 런타임 | 총 실행 시간, CPU, 메모리, 동시 세션 |
| 스토리지 | 바이트, 보관 아티팩트, 체크포인트 수명 |
| 재시도 | 작업당 시도 횟수와 전체 재시도 비용 |
| 프로비저닝 | 리소스 수, 티어, 자동 만료 |
한도에 도달하면 런타임이 작업을 중지해야 합니다. 모델에 비용을 아끼라고 요청하는 프롬프트는 유용한 지침이지만 예산을 강제할 수는 없습니다.
Cohesivity 사용량을 비용 모델에 반영하는 방법
Cohesivity는 사용량 기반 공급자 활동과 요금제 할당량을 구분합니다. 요금 페이지에서 현재 버킷 및 fluid 할당량을 확인할 수 있습니다. fluid 사용량은 이를 발생시킨 공급자 호출에 매핑하고, 버킷 사용량은 소비한 프로비저닝 서비스 또는 계정 할당량에 매핑하세요.
진단이 목적이라면 이 기록을 Cohesivity 비용 하나로 합치지 마세요. 브라우저 루프, 모델 재시도, 방치된 배포 중 무엇이 변화를 일으켰는지 확인할 수 있어야 합니다.
규모를 추정하기 전에 측정하세요
대표 작업 하나를 선택하고 모든 모델 호출, 도구 호출, 재시도, 런타임 구간, 생성된 리소스를 수집하세요. 각 값을 측정값, 설정값, 가정값으로 구분합니다. 그런 다음 정상 사례, p95, 실패 루프 하나의 비용을 계산하세요.
아래 프롬프트는 조사 과정에서 비용을 쓰지 않고 프로젝트에서 이 모델을 준비합니다.