正在整理你需要的资料…
uclanlp/OpenVLHarness ↗ · 项目主页 ↗
多模态模型看得见,却没法「指着图上那块问」——工具一多,前面见过的图像、框、掩码和深度图就丢了。OpenVLHarness 用多模态记忆把它们在整个问答过程中保持可寻址,后面的工具和代码可以接着往上搭。22 个基准、四个领域里,七个骨干模型平均比不接工具时高 9.7 到 12.6 分。
适合需要给多模态模型接上工具、并在视觉基准上验证收益的研究者或工程团队;低推理档就领先基础模型和 Codex 的高推理档,token 花费最多只有它们的 26%,且不微调权重。
OpenVLHarness
多模态模型看得见,却没法「指着图上那块问」——工具一多,前面见过的图像、框、掩码和深度图就丢了
下面是把仓库 README 逐节读完后归纳出的中文要点。
汇总项目进展:2026年11月13日将做一场分享,10月起陆续登上 Hugging Face 每日论文榜前列,论文已于10月19日在 arXiv 发布。
介绍框架优势:22项基准平均提升9.7到12.6分,低推理档位已领先同类,同时把模型调用成本压到最多26%,并支持自定义能力、跨模型与免微调。
列出文档结构:工作原理、结果、安装、快速开始、评测、配置与扩展、仓库布局、文档与测试、杂项与引用等章节的导航入口。
说明模型自行选工具、读证据并作答的流程,由能力层、多模态记忆与 Python 编码代理三部分组成,覆盖视觉定位、OCR、深度估计、搜索与网页取证等能力。
给出论文22项基准上的平均分对比:接入框架后各骨干模型普遍提升,其中 Qwen3-VL-32B-Instruct 提升幅度最大,达到12.62分。
说明安装方式:需 Python 3.10 及以上,源码安装可装上代理、分词器支持与工具路由;模型服务另用独立环境,并给出七种骨干模型对应的配置文件。
git clone https://github.com/uclanlp/OpenVLHarness.git
cd OpenVLHarness
python -m venv .venv
source .venv/bin/activate
python -m pip install -e '.[qwen,server]'| 主要语言 | Python | 许可 | MIT |
|---|---|---|---|
| 创建时间 | 2026-10-15 | 最近提交 | 2026-11-10 |
| 站内采集 | 2026-11-06 起,连续观察 8 天 | 最近一次 | 2026-11-13 |
最近 8 次采集
2026-11-06 394 ★ → 2026-11-13 476 ★ (累计 +82)
数据来自 GitHub 公开接口的每日采集快照,star 数为采集当时读到的值, 与 GitHub 页面上显示的实时数字可能有几分钟的差距。 项目名点击可回到 本页。