CASE 09
AI 编程能力评测集（含评分脚本）
题目集 · 评分脚本 · 回归对比
Abstract. 模型迭代快，但「这次是不是比上次强」缺少可比基线；手写用例又容易只测好走的路。
1. 做法
按能力维度分桶（字符串、集合、边界、性能），每题给可见与隐藏用例；评分脚本输出通过率、耗时、失败原因分布。
2. 实现细节
失败原因归类到断言类型，便于定位是理解错还是实现错；结果存 JSON，多次运行可做趋势对比。
3. 结果
同一评测集可跨模型、跨版本对比；回归时先看失败分布再看总分。
打开演示 →