怎么评估一个 AI 能不能干完一整件事:长程 Agent 的验收方法
借腾讯混元 Hy4 的实测设计讲长程 Agent 的评估方法:先看现象定位卡在哪一环,再看数据核验、可复算与投委会式交付三类要求,最后按六项逐条验收。

评估一个 AI 能不能干完一整件事,不能只看它单轮答得好不好。这篇给出一张对照表:你看到的每个卡壳现象,对应该查哪一环,以及查到了该长什么样。
你先会看到什么
单轮问答分数高的模型,长任务照样会翻车。下面几种现象,你多少都遇到过:
- 聊到第三轮,话题自己漂走了,最初要求的交付物没人再提
- 报告读起来很有说服力,抽查一个数字,找不到出处
- 估值模型给了一个结论,换个人拿同一批假设却算不出同样的数
- 内容写完了,导出的文件打不开,或者打开后数字和正文对不上
- 同一类问题反复改,越改越偏,始终不收敛
这些现象对应的是任务设计里的具体缺口:目标没落成可检查的交付物、数据没有硬约束、假设没有集中管理、最后一步缺自检。
过去测模型,行业习惯看单轮问答、单道题目的表现。进入 Agent 阶段,标准变成跨多轮、跨多步、长时间运行时。
模型能不能始终记得目标在哪里、自己能走到哪一步,中途出错能不能自己拉回来,最后形成逻辑闭环的交付。
腾讯混元 Hy4 在 2026-11-04 发布,权重宣布近期开源,主打性价比的轻量版 Hy4 flash 一同亮相,官方定位是「首次跻身最强开源模型之列」。
极客公园围绕长程 Agent、多模态理解与视觉代码等主线做了实测。
定位方法表:看到什么,卡在哪一环
下表把「你看到的现象」和「该去查哪一环」对起来。每一行都给出判断标准,最后一列写清「定位到了」是什么样子,方便你回头复查。
| 你看到的现象 | 可能卡在哪一环 | 定位方法 | 定位到了是什么样 |
|---|---|---|---|
| 跑了几步之后话题自己变了 | 目标没有落成可检查的交付物 | 把任务写成「角色 + 交付物形态 + 数据截至时间点」,并要求它先列执行计划 | 计划里每一步都指向最终交付物的一段 |
| 数字看着合理却查不到出处 | 数据核验缺硬约束 | 每个数字都要求标来源、日期、币种、单位,并区分实际值、预测值和假设 | 随机抽一个数字,能按标注回到原始出处 |
| 结论漂亮但没法复算 | 假设分散在正文里 | 要求关键假设集中管理、验证勾稽关系、禁止无解释倒挤 | 换一个人用同一批假设能算出同一个结果 |
| 把「送样测试」写成了「已量产」 | 供应链状态没有分级 | 明确区分已量产、送样测试、仅披露合作意向三种状态 | 每家公司的状态都能在原文里找到对应表述 |
| 报告写完,文件打不开或数字对不上 | 缺最后一公里的自检 | 交付前在另一处打开文件,复核关键数字 | 文件能打开能修改,关键数字和正文一致 |
| 同一处错误反复出现 | 阶段之间没有自检 | 要求分阶段推进,每阶段做一次阶段性自检 | 自检能指出上一阶段的问题,而不是复述结论 |
一、一个真实的长程任务长什么样
实测给 Hy4 的任务,接近买方真实工作:
让它扮演覆盖 AI 算力产业链的研究员,围绕 CPO(共封装光学)赛道,做一份面向投资决策委员会的深度研究报告和可复算估值模型,数据截至最近一个已完成的交易日。
这道题几乎覆盖了一名研究员的完整工作流:
- 梳理产业链图谱:上游光芯片、激光器、硅光、光器件,中游光引擎、光模块,下游交换机和云厂商,还要配一张可视化产业链图。
- 讲清技术差异:CPO 与传统可插拔光模块、NPO、OOI 的技术差异、替代节奏和关键催化节点。 引用英伟达、博通、台积电的官方路线图和时间点。
- 做数据核验:获取重点公司近 3 年财报、最新行情与市值、业务结构、毛利率和机构一致预期,兼顾英伟达、博通、Coherent、Lumentum 等海外映射数据。 每个数字都要标明来源、日期、币种和单位,区分实际值、预测值和假设,缺失数据明确说明,禁止编造数据、机构或分析师身份。
- 做横向对比与估值:从 A 股选 4 家覆盖光模块、光器件、光芯片环节的代表公司做对比表,测算当前估值隐含的增长预期,结合一致预期判断预期差,给出乐观、基准、悲观三情景。 再选一家建立可复算的未来三年利润表模型,关键假设集中管理,验证勾稽关系,禁止无解释倒挤。
- 正面回答三个问题:当前是业绩兑现还是主题炒作、哪个环节弹性最大、如果只能选一家该选谁
二、这个任务设计里最值得学的三处
第一处是「数据核验」,它是最容易露馅的环节:数字要带来源、日期、币种、单位,还要核实各家公司是否真正进入海外巨头 CPO 供应链。
严格区分已量产、送样测试和仅披露合作意向三种状态,把蹭概念的标的识别出来。
第二处是「可复算」。模型如果不能复算,结论就无法被检验,也就无法被信任。关键假设集中管理、验证勾稽关系、禁止无解释倒挤,三条约束缺一条,估值就会变成一段读起来很像结论的文字。
第三处是交付形态:同样的信息量,做成投委会能直接用的研究报告加可复算估值模型,和做成一堆聊天回复,是两种完全不同的交付。
从实际运行看,Hy4 沿用了它处理长任务的典型路径:先拆解任务、列出执行计划,再分阶段推进,中间做阶段性自检。
产业链图谱、技术路线、对比表和三情景依次落地,数据来源、假设口径和不确定性都有明确标注,模型内的勾稽关系可以对上,最终交付的是报告 PDF 加估值模型 xls。
报道里那句「长程能力的差距往往就藏在最后一公里」,说的正是文件能不能真的生成出来、数字对不对得上、打开能不能用。
三、你自己怎么用这套方法
把上面的任务设计抽象成一个可复用的模板:
角色:你是一个 [具体角色]
目标:交付 [具体交付物形态],数据截至 [时间点]
数据要求:
- 每个数字标注来源、日期、币种、单位
- 区分实际值 / 预测值 / 假设
- 缺失数据明确说明,禁止编造数据、机构或分析师身份
分析要求:
- 关键假设集中管理
- 验证勾稽关系,禁止无解释倒挤
- 明确区分 [已量产/送样测试/仅合作意向] 三种状态
交付:给出 [N] 个情景与 [N] 个必须正面回答的问题
四个要点一个都不能省:
- 角色具体到岗位,模型会按岗位的标准组织信息
- 交付物形态要明确,是报告还是表格还是可复算模型
- 数据约束是防编造的核心
- 必须正面回答的问题防止模型只挑好说的讲
四、怎样检查
- 检查每个关键数字:有没有来源和日期,能不能自己复核
- 抽查假设:模型给的假设之间有没有互相矛盾
- 反向测试:故意问一个它可能没数据的问题,看它会不会编
- 在另一处打开最终文件,确认能打开、能修改,数字和正文一致
作为参照,报道提到官方金融众测的数据:基于真实金融场景构建数千个工作空间和上万个高质量任务,联合腾讯金融科技 FiT 组织 213 位专家参与众测,其中 153 位来自外部头部金融机构。
在 579 个真实金融任务上 Hy4 拿到 3.04 分,在开源模型中排名第一。
高于 DeepSeek-V4.1-Flash 的 2.97,Kimi K3.1 Pro 和 GLM-5.3 为 2.68。
事实准确性方面,Hy4 的幻觉率从 preview 版的 12.95% 降到 7.2%,猜测导致的错误率从 23.1% 降到 5.6%。
这些数字是厂商与报道方口径,本文没有复现该任务,也没有复算这批分数。
资料来源与未核实项
本文基于极客公园 2026-11-09 对腾讯混元 Hy4 的实测报道整理。Hy4 的发布信息与实测任务设计引自报道;实测结论由报道方给出,本文未复现该任务,也未复算金融众测分数与幻觉率。
行业数据(如 CPO 产业事件与公司估值情况)引自报道所引用的公开信息,具体数值以最新市场数据为准。
报道中提到的 Hy4 定价、腾讯云 TokenHub 折扣,以及 11 月 4 日到 15 日 WorkBuddy、CodeBuddy 的免费额度属厂商活动口径,本次未逐项核对,以官方页面为准。
有使用 AI 助手做研究或分析的基础;能读懂基本的表格与数据
适用范围:腾讯混元 Hy4(2026-11-04 发布)
以下来源方便你逐项对照;引用文档不代表已经完成实际操作测试。 本文标注为 AI 辅助起草。 暂无可用的人工核实记录,涉及价格、权限或操作入口时请回到原始文档确认。
- 极客公园 2026-11-09 实测报道,长程任务设计与验收要求均来自原文。
- 核对了什么:重新读取极客公园该篇实测报道,逐条比对正文里的任务要求五步、Hy4 的发布与开源信息、行情与一致预期等数据约束,以及金融众测分数与幻觉率两个数字;正文里指向站内静态资源的示意图文件请求返回 200。没做什么:没有复现该任务,没有复算这批分数与幻觉率,没有回访报道引用的第三方机构,模型价格与厂商活动额度未逐项核对。
- 核对了什么:本次只做表达层改写(拆长段落、结论前置、删重复与填充句),数字、型号、版本、日期、URL、官方表述、否定表述(没有/不支持/不含)以及限制条件全部保留;改写前后用脚本抽取正文里的数字、英文专名与 URL 做集合比对,差集为空,说明没有丢事实。没做什么:没有新增任何事实,没有重新实测文中提到的产品,没有改动正文里已有的表格、清单、代码块与图。
- 核对了什么:正文文字、事实与来源未变,本次只把正文里的 AI 装饰插画换成内容图解(长程任务评测的四步设计),已逐张查看确认中文无乱码、无越界。没做什么:没有新增事实、没有改任何数字,也没有复现文中的评测数字。
- 2026-11-10 补配图后重新核对:正文文字与事实未改,仅在对应小节末尾插入示意图;正文引用的官方来源链接均已实际打开确认可达,插图文件已核对存在并上传到站内静态资源
- 极客公园 2026-11-09 实测报道,长程任务设计与验收要求均来自原文。
- 正文新增一张配图:正文文字、数字与来源链接逐项比对无变化
- 2026-11-10 换图后重新核对:正文文字与事实未改,只把配图换成按该小节内容手写的中文示意图(图里的词就是正文里的词);正文引用的官方来源链接均已实际打开确认可达,示意图文件已上传到站内静态资源
发现内容与当前界面不一致?
提交内容纠错金额随意,多少都帮得上忙。AITime 的资料整理、事实核对和每日更新由个人完成, 没有付费墙,所有内容都可以免费读。
扫码使用微信支付,备注可以留空。
哪个工具卡在哪一步、想给文章补一个真实案例、都可以加我。 留言时写清来源和具体问题,我看到会回。
扫一扫添加好友,备注写「AITime」我更容易认出来。
讨论与使用经验
正在加载讨论…