AI 编程评测任务包

容器化任务 · 隐藏测试 · 真跑自动评分

问题

要横向比不同模型/智能体的编码能力，靠人看代码不可复现：题目要能自动跑、结果要能自动判。

做法

每个任务一个目录：仓库快照、可见测试、隐藏测试、运行脚本、标准补丁；评分只认测试结果与超时，不看自然语言。

细节

隐藏测试与可见测试分离，防止针对性硬编码；运行在隔离容器内，限制 CPU 与时长；结果落 JSON 便于汇总。

• 评测
• 容器
• 隐藏测试
• 评分脚本

打开演示 →