eval set / scoring← 返回案例

AI 编程能力评测集

按能力维度分桶，每题含可见与隐藏用例；评分脚本输出通过率、耗时与失败原因分布

Abstract. 评测集的价值不在总分，而在失败分布：同一模型在「边界 / 性能 / 语义」三类题上的失败比例，决定了它能不能用在生产上。本页演示评分脚本的输出结构。

1. 运行

2. 分桶通过率

3. 失败原因分布

断言类型次数

4. 结论

断缘技术站 · 个人技术笔记与实验
冀ICP备2026047080号-1冀公网安备13020702000398号
联系：269170@163.com