- 评测编号:
eval-YYYY-MM-DD-01 - 目标模型 / 版本:
gpt-4o-2024-08-06/claude-3-5-sonnet-20241022 - 提示词版本 / Commit SHA:
<git-sha> - 评测人:
@maintainer
| 指标维度 | 基线(Baseline) | 候选版本(Candidate) | 变化幅度(Delta) | 结论 |
|---|---|---|---|---|
| Schema 契约符合率 | 98.5% | 100.0% | +1.5% | 通过 |
| 确定性匹配通过率 | 84.0% | 88.5% | +4.5% | 通过 |
| 平均延迟(P95) | 1.42s | 1.18s | -0.24s | 通过 |
| 千次请求 Token 成本 | $1.20 | $0.95 | -$0.25 | 通过 |
- 非法畸形 JSON 容错与解析回退完成验证
- 提示词注入攻击与系统 Prompt 防窃取完成验证
- 空输出与超时重试机制完成验证