AI 代理基礎設施成本：模型、儲存、運算和工具調用

AI 代理基礎設施成本，是完成一項工作的總成本，包括模型 token、付費工具、執行時間、儲存、網絡用量、重試和閒置資源。只追蹤模型帳單，會漏掉代理繞遠路或中途失敗時持續增加的部分。

正確的分母應是有用成果，例如已解決的客戶服務工單、已部署的應用程式或已審閱的文件。如果更多請求失敗，每次請求的成本可能下降，但每項已完成工作的成本反而上升。

六項成本來源

模型 token

記錄每次模型調用的輸入、快取輸入、供應商有提供時的推理，以及輸出 token。不同模型價格不同，也可能隨時間變更，因此應從已儲存的用量和有版本紀錄的價格表計算，不要把一個混合費率寫死在程式中。

OpenAI API 價格等供應商頁面會公佈計費單位。自己的紀錄中應保留歷史執行實際採用的價格，因為用今天的價格重算舊執行，等於改寫過去。

付費工具與外部 API

搜尋、瀏覽器工作階段、語音、電郵、圖片生成、地圖和數據供應商，可能按調用、結果、分鐘或位元組收費。把供應商操作記在代理工具調用旁邊，讓一條工作流程追蹤能夠同時解釋行為和成本。

傳回模糊結果的工具，可能因重試產生比標示單價更高的成本。錯誤工具使用除錯指南可以協助區分選擇失敗和供應商失敗。

代理與沙箱執行環境

計算使用中的 CPU 或 worker 時間、記憶體使用期間、沙箱分鐘，以及任何最低工作階段費用。模型長時間等待時，即使沒有程式碼執行，沙箱仍可能保持啟用。如果供應商按後者計費，就要同時記錄實際執行時間和完整存續時間。

數據庫、儲存與網絡

持久服務會產生與代理執行次數無關的基準成本。把數據庫運算、保留日誌、檢查點、向量索引、物件儲存和網絡輸出都計算在內。按照租戶用量、工作流程寫入或儲存位元組等穩定規則分攤共用資源，並讓這套規則清晰可見。

重試與失敗執行

讓 attempted cost 包含所有執行，無論成功與否：

cost per successful task = total attempted cost / successful tasks

如果 100 次執行中有 20 次在使用大部分預算後失敗，餘下 80 個成果就會吸收那些支出。因此，生產環境代理指南會把有界重試同時視為成本和可靠性控制。

閒置資源

代理可能建立數據庫、部署或沙箱後，永遠沒有移除。追蹤壽命超過執行本身的資源、其擁有者、最後活動時間和清理期限。如果資源紀錄沒有指回建立它的工作流程，每次執行成本儀表板就會漏掉這些項目。

可供審計的計算方式

針對一條工作流程計算：

run cost = model + paid tools + runtime + storage allocation + network

completed-task cost =
  sum of successful, failed, and retried run costs
  divided by completed tasks

報告中位數和 p95。只看平均值會掩蓋少數長迴圈，最大值則可能描述的是事故，而不是正常操作；最大值應保留為獨立警示案例。

在成本發生的位置設定預算

達到限制時，執行環境就應停止工作。提示模型節省資源可以作為指引，但無法強制執行預算。

如何把 Cohesivity 用量納入模型

Cohesivity 將計量的供應商活動與方案配額分開。價格頁面會解釋目前的 bucket 和 fluid 額度。把 fluid 用量對應到造成用量的供應商調用，並把 bucket 用量對應到所使用的已配置服務或帳戶配額。

如果目標是診斷，就不要把這些紀錄合併成單一 Cohesivity 數字。你仍然需要看出變化來自瀏覽器迴圈、模型重試，還是被遺忘的部署。

先量度，再估算規模

選擇一項具代表性的工作，擷取每次模型調用、工具調用、重試、執行時間區間和建立的資源。把數值標為量度值、設定值或假設值，再計算正常案例、p95 和一個失敗迴圈。

下方提示會根據項目準備這份模型，而且不會在調查期間產生費用。