检索窗口:2026-11-10 至 2026-11-16 | 本期精选 5 项
版本状态:MEME 为 2026-05-12 的 v1、11-11 的 v2,本期按 v2 记录;CoLFA 与 RSI-PDEbench 为 11-11 的 v1。Benchmarks as Software(11-05)与 RECEIPT(11-01)落在七日窗口之外,此前未推送,本期作为高相关补充收录,日期按实际提交标注。五项均未检索到 ACL/OpenReview/PMLR 正式版;MEME 项目页给出代码与数据集(GitHub 无法访问,仓库内容未核实),其余论文页未给出公开代码链接。
本期五项讨论的是同一件事的不同侧面:一次运行的分数,有多少来自模型,有多少来自测量条件。RECEIPT 查的是 harness 的 stdin 连接,Benchmarks as Software 查的是任务与时间预算,MEME 查的是记忆任务里的实体关系,CoLFA 查的是多 agent 轨迹的组织方式,RSI-PDEbench 查的是自改进循环的验证门控。
1. RECEIPT: Measuring and Repairing the Return Assumption of LLM Agents in Web Service Operations(2026-11-01)
类型:论文(arXiv v1,此前未推送;未检索到正式发表版本;论文页未给出代码链接)
解决什么问题:agent 从命令行操作 Web 基础设施时依赖一个默认假设:每次工具调用都会在有界时间内返回,并且请求的动作已经完成。很多命令在执行前会先提问,而 harness 要么关掉程序的输入,要么把输入留在一个没人输入的终端上。关掉输入时,程序可以返回状态 0 却没执行动作;留着输入时,程序等到超时,agent 付出时间和 token。两种情况下 agent 都可能误判,而排行榜把 harness 的输入连接和模型能力算在了一起。
核心方法或评测设计:作者收集 91,469 条生产工具调用与 89,047 条公开 agent 轨迹,测试 8 个常用 harness 如何启动命令,并构造两个工件:Litmus,158 条会检查「请求动作是否真的发生」的命令调用目录;Tripwire,25 对只在「是否有问题拦住动作」上不同的任务。测量结果:关闭输入时,11.5% 的调用返回状态 0 却没有执行请求的动作;8 个 harness 里有 7 个在没有终端时关闭输入;普通终端上一个无人回答的提问会把任务 token 用量放大 2.9 倍;输入连接本身足以让 Llama-3.3-70B 在 8 个模型中从第 7 名升到第 3 名。
修复方案 RECEIPT 保持输入打开,从系统调用读出每个进程在等什么,再通过一个经模型检查的协议把这个状态报告给未修改的 agent。跨 5 个模型,RECEIPT 把虚假成功从 34 次降到 9 次(降幅 73.5%),比普通终端少用 24.4% token,报告了 85.0% 的等待且无误报;在第二个带持久终端的 harness 上完成全部 25 个陷阱任务,单次 shell 调用的中位开销不超过 0.54 毫秒。
为什么对 Agent Harness 有价值:这是 harness 层一个可复现的静默失败类:退出码为 0 不等于动作完成,而评测与排行榜默认相信退出码。它给出三条可直接落地的检查:工具结果要报告「做了什么」而不只是「怎么结束的」;benchmark 在排名前应固定并披露输入连接方式;轨迹里「等待输入」的信号可以事后检测,但事后分类只能抓到很小一部分虚假成功。对做 terminal/CI 类 agent 的团队,Litmus 与 Tripwire 的构造方式比结论更值得抄。
建议重点看:Litmus 如何判定「状态 0 但动作未执行」;8 个 harness 的输入连接差异表;Tripwire 的 25 对任务如何只改一个问题;RECEIPT 协议里输入投递、中断与报告的排序,以及模型检查覆盖了哪些性质。
适用标签:Trace 诊断
链接:论文 | 代码:论文页未给出公开仓库
2. Benchmarks as Software: Terminal-Bench and the Case for Continuous Benchmarks(2026-11-05)
类型:论文(arXiv v1,此前未推送;未检索到正式发表版本;修复以 Terminal-Bench 2.1 任务集发布)
解决什么问题:benchmark 在发布时经过仔细验证,之后仍会过期。模型变强后会发现被 verifier 误判为错的有效解;评测基础设施的变化也会让任务里嵌入的假设失效。作者把这种缺陷累积叫 benchmark 维护债:分数与它想衡量的能力之间越差越远。
核心方法或评测设计:提出一套持续验证工作流,证据来自社区报告、任务工件、agent 轨迹、自动 oracle 检查与人工把关的修复。把它用在 Terminal-Bench 2.0 上,审计发现约 30% 的 benchmark 存在问题,修复后作为 Terminal-Bench 2.1 发布。修复改变结果:准确率提高 10 个百分点以上,排行榜名次最多移动三位,整体排名仍高度相关(Spearman ρ=0.958)。缺陷分三类,任务漂移占 43%(外部包版本、公开 API、网页内容变化),环境与资源问题占 29%(CPU、内存、时间预算设得过紧,oracle 或 verifier 先撞上限),其余是 verifier 与任务本身的缺陷。
资源预算的敏感性单独做了实验:默认时间预算下,同一厂商内换 harness 能让 GPT 5.4 的准确率变化约 20 个百分点;放宽时间限制后这个差距基本消失,GPT 5.4 mini 上 30 个百分点的 harness 差距缩到 5 个百分点。超过一半的失败 trial 以超时结束,不同 harness 的比例从 68%(claude-code)到 18%(gemini-cli)。作者据此认为时间与 token 预算属于测量规格的一部分,必须和任务一起验证。
为什么对 Agent Harness 有价值:它把「harness 差距」拆成能力差距与速度差距:在固定预算下,慢 harness 看起来更笨,放宽预算后差距大幅收缩。对做 harness 对比的人,这意味着必须报告预算,并做预算敏感性检验;否则 20 个百分点的结论可能只是超时。维护债的清单也实用:约三成任务有问题时,任何跨 harness 的细粒度排名都先要过一遍任务审计。它和此前「benchmark 在测量层饱和」的讨论互补:那边说分数分不开,这边说分数本身可能测错了东西。
建议重点看:五类证据如何汇入修复流程;缺陷三分类的比例与判定标准;时间预算实验里 harness 差距随预算变化的曲线;Terminal-Bench 2.1 的修复清单与对排行榜的影响。
适用标签:整体 Benchmark
链接:论文 | 代码:论文页未给出独立仓库,修复随 Terminal-Bench 2.1 发布
3. MEME: Multi-entity & Evolving Memory Evaluation(2026-11-11)
类型:论文(arXiv v1 2026-05-12,v2 2026-11-11,本期按 v2 记录;未检索到正式发表版本;项目页给出代码 github.com/SeokwonJung-Jay/MEME-public 与数据集 huggingface.co/datasets/meme-benchmark/MEME,当前环境无法访问 GitHub,仓库内容未核实)
解决什么问题:既有记忆评测大多只看单实体的更新,而真实环境里记忆要在多个实体之间维护关系,并随时间演化。作者沿「多实体」与「演化」两轴定义六个任务,其中三个此前没有被系统评分:Cascade 与 Absence 考依赖推理,Deletion 考删除后的状态。
核心方法或评测设计:在 100 个 episode 上评六种记忆系统(两个原始检索、两个 LLM 处理记忆、两个文件式 agent),六个系统统一用 gpt-4.1-mini 作内部与回答模型,填充内容约 32K token。结果是在默认配置下所有系统都在依赖推理上崩塌:Cascade 平均准确率 3%,Absence 1%,而静态检索命中并不差(BM25 的 exact recall 为 1.00)。prompt 优化、更深的检索、减少填充噪声、以及多数更强的 LLM 都没能补上这个缺口。增益最大的是文件式 agent(MD-flat)搭配 Claude Opus 4.7 作为内部 LLM,在 20 个 episode 的子集上把 Cascade 提到 0.32、Absence 提到 0.59,代价约为基线的 70 倍。
为什么对 Agent Harness 有价值:它把记忆评测从「检索命中」推进到「关系是否被维护」:一个系统可以准确召回每条事实,却在「A 删除后 B 的结论是否还成立」上失败。对 harness 里的 memory 组件,这说明单条记忆的读写正确不够,还需要在写入与更新时保留实体间依赖,并在删除时做级联检查。70 倍成本换部分修复也给出一条现实边界:靠更强模型与文件工具硬补关系推理,代价很高。需要打折看的是 100 个 episode 的规模与合成构造,结论目前只覆盖这三类依赖任务。
建议重点看:六个任务如何在两轴上定义,尤其 Cascade/Absence/Deletion 的判分;默认配置与各消融的对照(prompt、检索深度、噪声);文件式 agent 的成本与收益拆解。
适用标签:Memory 评测
链接:论文 | 项目页 | 代码与数据集:项目页给出 github.com/SeokwonJung-Jay/MEME-public、huggingface.co/datasets/meme-benchmark/MEME(仓库内容未核实)
4. CoLFA: Collaboration-Guided Lightweight Failure Attribution for LLM-Based Multi-Agent Systems(2026-11-11)
类型:论文(arXiv v1,23 页;未检索到正式发表版本;论文页未给出代码链接)
解决什么问题:多 agent 系统的失败归因要找到决定性错误步骤与责任 agent,但分工与信息交换造成步骤交错、内容杂乱,模型得在长记录里自行连接执行过程、核对细节,定位精度与 token 成本很难兼顾。
核心方法或评测设计:作者的观察是,多 agent 协作本身留下了「执行如何连接、内容如何在 agent 间传递」的记录,这些协作线索可以作为归因证据。CoLFA 用两步按结果形成过程组织输入:Handoff-Guided Step Expansion 依据交接关系决定检查哪些步骤,Cross-Referenced Content Organization 决定这些步骤的内容怎么呈现,从而减少无关与重复记录的处理。在 Who&When 与 LongRCA 的五个设置、三个 backbone 上,CoLFA 取得最高的 exact step 定位准确率与最低的 token 消耗;相对各设置的单项基线,准确率最多提升 37.50%,token 最多减少 97.6%。
为什么对 Agent Harness 有价值:多 agent harness 的 trace 通常比单 agent 长一个量级,直接塞给 judge 既贵又容易淹没有效信号。CoLFA 给出的做法是把交接结构当成索引:先按「谁把什么交给谁」裁剪,再按引用关系展开内容,这比按时间顺序截断更贴近错误传播路径。对做 trace 诊断或自动归因的团队,这两步可以在不改 judge 模型的前提下降低输入规模;97.6% 的 token 降幅也说明现有做法里有大量重复记录是白花的。局限是只在两个公开多 agent 失败语料上验证,且需要轨迹记录足够完整地保留交接信息。
建议重点看:协作线索具体取哪些字段(交接、引用、结果归属);Handoff-Guided Step Expansion 的展开与剪枝规则;五个设置上准确率与 token 的对应表;对轨迹记录格式的要求。
适用标签:Trace 诊断
链接:论文 | 代码:论文页未给出公开仓库
5. RSI-PDEbench: A Benchmark for Self-Improving Agents in PDE Solving(2026-11-11)
类型:论文(arXiv v1;未检索到正式发表版本;论文页未给出代码链接)
解决什么问题:从采样解数据里识别并求解偏微分方程需要方程发现、系数估计与数值求解器配置,专家成本高,噪声与分布偏移下更明显。作者要测的是 LLM agent 能否把这条工作流自动化,并且是以可验证的方式自我改进。
核心方法或评测设计:基准含 1,001 个案例、42 个方程模板,覆盖经典与分数阶 PDE,分三种设置:Full 用无噪数据;Noisy 加高斯噪声,RMS 为干净信号 RMS 的 50%;Hard-OOD 测未见模板与偏移系数范围。方法 RSI-PDE 是一个递归自改进 harness:按残差损失筛候选方程,用相对 L2 反馈精修系数与数值求解器,并对策略与记忆更新加一道验证门控。与单次运行基线以及原生 harness(Claude Code 或 Codex)在四个前沿模型上比较:三种设置下,RSI-PDE 相对单次基线把四模型平均通过率提高 106.5–181.9%,相对原生 harness 提高 3.0–19.6%,同时在 12 个模型–设置对上把记录的模型调用总数减少 46.9%。
为什么对 Agent Harness 有价值:自改进循环最容易出的事是「改完看起来更好」,验证门控是把它变成工程组件的关键:只有通过验证的策略与记忆更新才被保留。这篇把门控、残差筛选与相对 L2 反馈组合成一个可复现的 harness,并且用模型调用数作为与通过率并列的指标,说明自改进不一定更贵。领域是 PDE,结论不能直接外推到通用 agent,但它提供了一个可照搬的骨架:候选筛选、反馈信号、门控准入、调用计数。对做 eval-driven optimization 的团队,46.9% 的调用下降比通过率提升更值得复核。
建议重点看:三种设置的数据与判分构造,尤其 Hard-OOD 的模板切分;验证门控的准入条件与拒绝后的回退;残差筛选与相对 L2 反馈如何形成闭环;与原生 harness 的调用数对照。
适用标签:优化闭环
链接:论文 | 代码:论文页未给出公开仓库
今日最值得读的 1 项
RECEIPT: Measuring and Repairing the Return Assumption of LLM Agents in Web Service Operations —— 它指出一个会污染所有 terminal 类评测的静默失败:8 个 harness 里 7 个在没有终端时关闭输入,158 条命令中 11.5% 返回状态 0 却没执行动作,而输入连接本身就能让同一模型在 8 个模型里从第 7 名升到第 3 名。修复后 5 个模型的虚假成功从 34 次降到 9 次,这份「退出码可信度」的账,读排行榜之前应该先算。
本文由每日研究速递任务自动整理。所有链接均应在发布前打开核对;无法确认的内容应标注“未能核实”,不要补写猜测性指标或结论。