AI 代理基礎設施成本：模型、儲存、運算與工具呼叫

AI 代理基礎設施成本，是完成一項工作的總成本，包括模型 token、付費工具、執行時間、儲存、網路用量、重試和閒置資源。只追蹤模型帳單，會漏掉代理繞遠路或中途失敗時持續增加的部分。

正確的分母應是有用的成果，例如已解決的客服單、已部署的應用程式或已審閱的文件。如果更多請求失敗，每次請求的成本可能下降，但每項已完成工作的成本反而上升。

六項成本來源

模型 token

記錄每次模型呼叫的輸入、快取輸入、供應商有提供時的推理，以及輸出 token。不同模型價格不同，也可能隨時間變更，因此應從已保存的用量和有版本紀錄的價格表計算，不要硬編碼一個混合費率。

OpenAI API 價格等供應商頁面會公布計費單位。自己的紀錄中應保留歷史執行實際採用的價格，因為拿今天的價格重算舊執行，等於改寫過去。

付費工具與外部 API

搜尋、瀏覽器工作階段、語音、電子郵件、圖片生成、地圖和資料供應商，可能按呼叫、結果、分鐘或位元組收費。把供應商操作記在代理工具呼叫旁邊，讓一條工作流程追蹤能同時解釋行為與成本。

回傳模糊結果的工具，可能因重試產生比標示單價更高的成本。錯誤工具使用除錯指南能協助區分選擇失敗與供應商失敗。

代理與沙箱執行環境

計算作用中的 CPU 或 worker 時間、記憶體使用期間、沙箱分鐘，以及任何最低工作階段費用。模型長時間等待時，即使沒有程式碼執行，沙箱仍可能保持啟用。如果供應商按後者計費，就要同時記錄實際執行時間和完整存續時間。

資料庫、儲存與網路

持久服務會產生與代理執行次數無關的基準成本。把資料庫運算、保留日誌、檢查點、向量索引、物件儲存和網路輸出都算進去。依照租戶用量、工作流程寫入或儲存位元組等穩定規則分攤共用資源，並讓這套規則清楚可見。

重試與失敗執行

讓 attempted cost 包含所有執行，無論成功與否：

cost per successful task = total attempted cost / successful tasks

如果 100 次執行中有 20 次在耗用大部分預算後失敗，剩下 80 個成果就會吸收那些支出。因此，正式環境代理指南會把有界重試同時視為成本和可靠性控制。

閒置資源

代理可能建立資料庫、部署或沙箱後，永遠沒有移除。追蹤壽命超過執行本身的資源、其擁有者、最後活動時間與清理期限。如果資源紀錄沒有指回建立它的工作流程，每次執行成本儀表板就會漏掉這些項目。

可供稽核的計算方式

針對一條工作流程計算：

run cost = model + paid tools + runtime + storage allocation + network

completed-task cost =
  sum of successful, failed, and retried run costs
  divided by completed tasks

回報中位數和 p95。只看平均值會掩蓋少數長迴圈，最大值則可能描述的是事故，而非正常操作；最大值應保留為獨立警示案例。

在成本發生的位置設定預算

達到限制時，執行環境就應停止工作。提示模型節省資源可以作為指引，但無法強制執行預算。

如何把 Cohesivity 用量納入模型

Cohesivity 將計量的供應商活動與方案配額分開。價格頁面會說明目前的 bucket 和 fluid 額度。把 fluid 用量對應到造成用量的供應商呼叫，並把 bucket 用量對應到所耗用的已佈建服務或帳戶配額。

如果目標是診斷，就不要把這些紀錄合併成單一 Cohesivity 數字。你仍需要看出變化來自瀏覽器迴圈、模型重試，還是被遺忘的部署。

先量測，再估算規模

選擇一項具代表性的工作，擷取每次模型呼叫、工具呼叫、重試、執行時間區間和建立的資源。把數值標為量測值、設定值或假設值，再計算正常案例、p95 和一個失敗迴圈。

下方提示會根據專案準備這份模型，而且不會在調查期間花費款項。