3643 字
18 分钟
Agent Harness 日报 · 2026-11-15

检索窗口:2026-11-08 至 2026-11-15 | 本期精选 5 项

版本状态:五项均为 arXiv 预印本,未检索到 ACL/OpenReview/PMLR 正式版。JoyFrontBench、DISCERN 与数据库调试观察为 11-11 至 11-12 的 v1;Multi-Task Self-Evolving Harnesses 为 09-29 的 v1、11-12 的 v2,本期按 v2 记录;Continual-ARC 为 11-10 的 v1、11-11 的 v2。后两项论文页给出 GitHub 地址,当前检索环境无法访问 GitHub,仓库内容未核实。

本期五项都在改评测的单位:任务分改成应用级验收,记忆召回改成证据解析,harness 演化改成跨域留出,持续学习改成同一预算下的记忆与权重对比,调试失败归因改成 agent 能看到什么。合起来是一句话:只报告「模型多强」已经不够,还得报告在什么配置下、按什么完成定义、能看到哪些状态。

1. JoyFrontBench: Evaluating Front-End Coding Agents through Goal-Oriented Acceptance Contracts(2026-11-11)#

类型:论文(arXiv v1,20 页;未检索到正式发表版本;论文页未给出代码链接)

解决什么问题:前端 coding agent 的分数常由「实现了多少」聚合而来,一个应用可以拿到很高的平均任务分,核心流程却是断的。作者要区分部分实现与应用成功:前者是分级完成度,后者要求同一份可运行产物在一次运行里通过所有核心任务。

核心方法或评测设计:评测前先写验收契约。每个契约包含若干核心任务与必选标准;一个核心任务只有在全部必选标准满足、并达到共享完成阈值时才算通过;应用成功则要求所有核心任务在同一产物、同一次运行内全部通过。数据为 100 个前端问题、764 个任务、2,596 条原子标准,标注把用户目标、核心任务与所需证据连起来;70 题作测试集,30 题公开作诊断。评分混合证据支撑的判断、确定性的记录审计与固定规则。五个 coding 模型分别在 OpenHands 与 OpenCode 上跑:OpenHands 下平均任务分(ATS)87.69%,应用成功率(ASR)51.52%,两者差 36 个百分点;模型排名在换 harness 后变化,ASR 在同一配置的重复运行间也会波动。

为什么对 Agent Harness 有价值:它把「完成」写成两级可计算的定义,补上 harness 对比里最容易糊过去的一处:任务分高不等于交付可用。对做选型的人,ASR 比 ATS 更接近用户感知,而「换 harness 排名翻转」「重复运行 ASR 抖动」这两条直接说明单次单 harness 的排名不可外推。契约的写法也能借用:先定必选标准与证据,再让评分器判,不必事后拿一个总分去解释。

建议重点看:验收契约与评分规则(核心任务、必选标准、共享阈值如何定义);ASR 的聚合方式与重复运行方差分析;OpenHands 与 OpenCode 的对照及排名变化;按失败类型拆分的诊断。

适用标签:整体 Benchmark

链接:论文 | 代码:论文页未给出公开仓库

2. DISCERN: Preserve at Write, Resolve at Read for Persistent LLM-Agent Memory(2026-11-11)#

类型:论文(arXiv v1;未检索到正式发表版本;论文页未给出代码链接)

解决什么问题:企业 agent 的记忆跨几十个会话累积,事实互相矛盾、被后续会话取代、名字相近的实体在向量空间里挤在一起。常见做法把它当检索问题,作者用 ENT-310 说明检索已接近饱和:保留与时效两项在各系统上都在 0.93–0.98。真正没解决的是解析:查询指哪个实体、哪个时间状态是当前值、证据不足时该不该回答。

核心方法或评测设计:规则是写时保全、读时解析。写路径把每次观察追加到按 actor 分开的不可变事件日志,再急切地合并成派生图:实体族图、双时间事实库、以及按会话时间线链接实体的事件情节;容易混淆的实体只连不并,被取代的值软失效而不删除,整张图是可从日志重建的可逆投影。读路径不开放写接口,而是一套零 LLM 的工具面,驱动 agent 在图上导航,最后只能提交四种带门控的终止动作之一。评测在 ENT-310(310 个查询,210 可答、100 不可答)上用四个评委组成的评审团打两个轴:可答问题的正确率,以及「回答还是弃答」的分类指标。DISCERN 的弃答 F1 为 0.924,八个基线最高 0.802;等权宏平均正确率 0.861,最强基线 0.806;实体解析 0.800,没有基线超过 0.40。同一套流程零调参搬到 LoCoMo,宏平均 0.663(最强基线 0.638),在假前提弃答上仍属校准最好的一档。

为什么对 Agent Harness 有价值:记忆子系统的评测常报召回,这篇把指标移到解析与弃答,并把弃答当成一等行为。生产记忆最容易出事的地方正是这里:答得出、答得旧、答错实体。写路径的可逆性同样实用,记忆不是被覆盖的黑箱,任何一次合并都能回到事件日志重放;读路径零 LLM 调用,成本和控制流都可预测。需要打折看的是 ENT-310 为合成基准,四个评委本身带模型偏差,论文也没给出代码。

建议重点看:写路径的图结构与软失效规则;读路径的四个终止动作与门控条件;ENT-310 的 210/100 划分与四评委协议;LoCoMo 上的零调参迁移结果。

适用标签:Memory 评测

链接:论文 | 代码:论文页未给出公开仓库

3. Multi-Task Self-Evolving Harnesses with the Agent as Its Own Optimizer(2026-11-12)#

类型:论文(arXiv v1 2026-09-29,v2 2026-11-12;未检索到正式发表版本;论文页给出代码与演化后的 harness github.com/xqkkk/self-evolving-harness,当前环境无法访问 GitHub,仓库内容未核实)

解决什么问题:自演化 harness 的常见设定是一个独立 proposer 跑在人设计的 harness 上,改 solver 的 harness,而且每个 benchmark 演化一套。真实任务跨域,这样的循环既依赖人的先验,也容易只对单一 benchmark 过拟合。作者要问:同一个冻结模型、同一版 harness,能不能既当 solver 又当 proposer,并让演化出的东西在没见过的任务上仍然有效。

核心方法或评测设计:solver 与 proposer 是同一个模型、同一版 harness。每批任务从五个不同领域的 benchmark 采样;proposer 读完整的运行记录,直接改自己正在跑的 harness 代码,不限制能改什么。训练与留出严格分开,另设五个演化期间从未用过的 OOD benchmark。过程按两阶段组织:多任务预训练,再在 Claw-Eval 上持续训练。起点是 49 行的种子 harness,GPT-5.6 Sol 的 harness 在第一阶段长到 430 行、第二阶段 524 行;演化出的机制包括输出截断、历史压缩、完成检查、独立复查与视觉检查。

结果:GLM-5.3 与 GPT-5.6 Sol 演化出的 harness 在五个演化 benchmark 的留出任务上比种子高约 5 分,追平或超过 Claude Code 与 Codex;GPT-5.6 Sol 的 harness 在五个 OOD benchmark 上与 Codex 相当,比种子平均高约 12.5 分,但这份增益主要来自 BrowseComp-Plus,另外四个基准接近种子。第二阶段在 Claw-Eval 上把 GPT-5.6 Sol 与 GLM-5.3-Flash 分别再抬 2.54 与 2.81 分,超过各自的 production harness,增益主要来自图像查看的改动。

为什么对 Agent Harness 有价值:它把「harness 里哪些组件值得有」变成演化结果而不是人的先验:输出截断、历史压缩、完成检查、独立复查都是压缩上下文与验证交付的通用件。更值得学的是 OOD 拆分方式:只看分布内 +5 分会高估,分项表显示增益集中在一个基准,这才是对「自演化 harness 能泛化」的诚实检验。做自动优化闭环的团队可以直接照搬 run record 的格式与两阶段协议,但验收条件应落在 OOD 分项而不是平均值上。

建议重点看:proposer 读取的 run record 包含哪些字段;两阶段训练与留出切分;OOD 五个基准的分项表,尤其是非 BrowseComp-Plus 的四项;演化出的机制清单及其在代码里的落地。

适用标签:优化闭环

链接:论文 | 代码:github.com/xqkkk/self-evolving-harness(地址来自论文,仓库内容未核实)

4. Continual-ARC: Measuring Skill Acquisition over a Working Lifetime(2026-11-10)#

类型:论文(arXiv v1 2026-11-10,v2 2026-11-11,51 页;未检索到正式发表版本;论文页给出代码与运行记录 github.com/unifyai/continual-arc,当前环境无法访问 GitHub,仓库内容未核实)

解决什么问题:harness 被认为是持续学习的一种机制,与测试时参数学习并列;但现有 benchmark 通常只覆盖一个应用域、每个实例只出现一次、只假设一类 learner,记忆型与权重型系统很难放在同一把尺子上比。作者要造一个能同时容纳两者的长生命周期任务流。

核心方法或评测设计:用三届 ARC-AGI 拼成终身任务流,任务不需要领域知识。同一任务在休眠间隔后带新实例回来,新任务持续加入。每个实例上 learner 可以花预算买示范、提交答案或在 harness 内行动,答错重试也要付费;单实例得分按消耗的反馈预算比例计算,因此「少花钱做对」得分更高。实例之间允许保留任何东西,记忆型与权重型因此共享同一计分轴。流结束后 learner 被冻结,分别在见过的任务的新实例上测记忆、在未见任务上测泛化。实验跑冻结权重的 agent harness,带与不带持久化,模型为 Qwen3.5-9B 与 GLM-5.3 Flash,对照两个 prompting 下限、一个程序归纳方法和一个用 GLM-5.3 Flash 蒸馏过的 Qwen3.5-9B 权重。

结果:没有显式专家指导时,harness 的持久化一般不能提升记忆;多数基于 harness 的方法学得比「把每个任务的示范缓存起来」这个下限还少;没有任何 harness 方法在未见任务上取得增益,而权重学习有实质提升。

为什么对 Agent Harness 有价值:它给 harness 记忆划了一条可测的边界。在同一条预算轴上,持久化本身不等于学习,缓存示范往往更强,跨任务泛化目前只有权重侧拿得到。做 memory 组件或自演化 harness 的团队,需要先能反驳这份负面结果:新机制如果在冻结后的未见任务上超不过缓存下限,就不该叫持续学习。反馈预算的计分方式也值得借用,它把买示范与重试都折进成本,避免只报准确率不看花费。

建议重点看:反馈预算的计分与重试计费;persistence 的几种条件,尤其有无专家指导的对照;冻结后的 memorization 与 generalization 两套测试;随论文发布的运行记录,便于复核每个实例的花费。

适用标签:整体 Benchmark

链接:论文 | 代码:github.com/unifyai/continual-arc(地址来自论文,仓库内容未核实)

5. Where LLM Agents Get Stuck Debugging Databases: Access More Than Reasoning(2026-11-12)#

类型:论文(arXiv v1,12 页;投稿 Journal of Systems and Software;未检索到正式发表版本)

解决什么问题:coding agent 被要求不只写代码,还要用运行时数据调试跑着的系统。作者观察一个 agent(Claude Code)在生产消息派发引擎上诊断 8 起数据库事故,想弄清失败是推理不够还是别的。

核心方法或评测设计:逐起事故记录 agent 的判断、改动与回退,再把每起事故映射到「它缺什么」。八起里有五起根因依赖运行时并发,这五起全部存在访问缺口:其中一起只有访问问题,另外四起与推理错误叠加(锚定最早的原因、配置探索不全、误读代码的事务语义)。三起与并发无关的事故,agent 靠已有信息就够了。作者指出错误假设与它当时能看到的证据一致,并非编造。据此提出一层 forensics:安全的查询 API、锁与死锁的飞行记录器、生产回放 harness,都放在现有安全控制之内。

为什么对 Agent Harness 有价值:它把「推理错误」这个笼统归因拆成证据可得性问题。agent 看不到锁视图、死锁报告被截断、没有只读执行与显式环境上下文时,正确的推理也无从发生。对 harness 设计,observability 决定了能力上限,它不是事后调试才需要的东西;把运行时状态做成受控的只读工具,比换更强模型更直接。回放 harness 还能把一次事故变成回归用例,与 trace 诊断、CI 回归是同一条链路。样本只有 8 起、单一 agent、单一系统,结论应当当作假设而不是基准。

建议重点看:8 起事故的逐条映射表;五起并发事故里访问缺口与推理错误的组合;三件套(查询 API、飞行记录器、回放 harness)的边界与安全约束。

适用标签:Trace 诊断

链接:论文 | 代码:论文页未给出公开链接


今日最值得读的 1 项#

DISCERN: Preserve at Write, Resolve at Read for Persistent LLM-Agent Memory —— 它把记忆评测从「召回多少」挪到「指哪个实体、哪个时间状态、该不该答」,并用写时保全、读时解析把这三次判断拆成可实现的路径:弃答 F1 0.924 对基线最高 0.802,实体解析 0.800 对基线不足 0.40,差距说明瓶颈不在检索;写路径可逆、读路径零 LLM 调用,也能直接搬进现有记忆子系统。

本文由每日研究速递任务自动整理。所有链接均应在发布前打开核对;无法确认的内容应标注“未能核实”,不要补写猜测性指标或结论。

Agent Harness 日报 · 2026-11-15
https://blog.xqcherry.top/posts/ai/agent-harness-daily-2026-11-15/
作者
xqcherry
发布于
2026-11-15
许可协议
CC BY-NC-SA 4.0