正在整理你需要的资料…
YuyaoGe/doc2harness ↗ · 项目主页 ↗
模型造出来的编码 Agent 靠不靠谱,光看跑通几个样例说不清。Doc2Harness 是同名论文的官方代码,做两阶段评测:先让模型在容器里按规格说明实现一个编码 Agent,再用 94 个场景、九类 harness 给成品打分,走确定性 mock 网关。最强的模型也只有 53.05% 通过率。
适合想横向比较不同模型造出的编码 Agent、谁的 harness 更可靠的人。完全离线、不需要 API key,Python 3.11 以上加 Docker 就能跑完整套目录。
doc2harness
模型造出来的编码 Agent 靠不靠谱,光看跑通几个样例说不清
下面是把仓库 README 逐节读完后归纳出的中文要点。
19 个前沿模型在 328 个用例全集上的通过率对比,每模型跑三套独立环境取均值:最好 53.05%,最差 27.44%,最强的仍近半失败。
只需 Python 3.11 与 Docker,两个阶段都用标准库;无需模型密钥,用模拟网关跑场景,可按族或场景编号筛选,输出每场景一份 JSON 回执。
用例按十个族分组,共 94 个场景,其中 53 个计分、41 个对照;对照不计分也不算放行,用来证明命令本身能跑通。
提醒使用者:觉得 Doc2Harness 有用就在论文里引用它,仓库中给出了对应的引用说明。
产品骨架沿用上游 mini-swe-agent 的项目布局,构建由 OpenCode 执行、模型网关用 LiteLLM;本项目按 Apache 2.0 许可发布,上游归属另有专门说明文件。
| 主要语言 | Python | 许可 | NOASSERTION |
|---|---|---|---|
| 创建时间 | 2026-10-11 | 最近提交 | 2026-10-27 |
| 站内采集 | 2026-11-06 起,连续观察 3 天 | 最近一次 | 2026-11-08 |
最近 3 次采集
2026-11-06 116 ★ → 2026-11-08 117 ★ (累计 +1)
数据来自 GitHub 公开接口的每日采集快照,star 数为采集当时读到的值, 与 GitHub 页面上显示的实时数字可能有几分钟的差距。 项目名点击可回到 本页。