大模型供应商接入测试与选型

统一基线 · 横向对比 · 成本可见

问题

同一批任务要跑多家模型供应商：接口不一样、返回格式不一样、价格与限流也不一样，很难横向比较。

做法

抽一层统一适配：请求、重试、超时、流式返回、用量统计都收口；同一批提示词跑完输出对比矩阵（正确率、延迟、token 成本）。

细节

失败重试带指数退避；用量按供应商口径换算成金额；结果落 CSV，便于反复跑与横向看趋势。

• API 接入
• 对比矩阵
• 成本核算