检索窗口:2026-11-14 至 2026-11-21 | 本期精选 5 项
版本状态:五项均为 arXiv v1,未检索到 ACL/OpenReview/PMLR 正式版本。Remembered as Brief 与 RagHarnessDebugger 为 11-17 提交,Keel 为 11-18,Beyond Weight Updates 与 Mind2Act World 为 11-19。论文页均未给出公开代码链接,GitHub 无法访问,仓库内容未核实。
本期五项都在处理同一类差:看得见的结果与看不见的过程之间的差。准确率掩盖了修复与回归的相互抵消,权重更新与 harness 演化各自能补多少没有算清,单视图能力不等于组合能力,记忆的省略不会被事实核查发现,循环的成因则藏在权重里。
1. RagHarnessDebugger: Jev-Guided Agentic RAG in Contract Inference Repair Auditing(2026-11-17)
类型:论文(arXiv v1;未检索到正式发表版本;论文页未给出代码链接)
解决什么问题:用 RAG 的 agent 系统要自己修复答案:补证据、试替代策略、决定要不要改。但准确率会误导:一次修复可能改对一处、改错另一处,两者在总分上抵消,看起来「没变化」。要知道修复有没有生效,必须审每一个修复决定,以及做决定时掌握的信息。
核心方法或评测设计:harness 按契约推理组织检索与修复,并把每个决定落成可审计记录:每个模型请求以载荷哈希为键并绑定缓存响应;每个候选带完整证据包、引用、机械有效性与被计入的读数;裁决者的选择在任何门控动作前记录;每个案例维护从初始检索到最终答案的哈希链事件。审计层离线跑在冻结工件上,不调用模型、不用参考标签,做三件事:provenance 校验(哈希、事件链、请求—响应配对、执行完成度);六项组件检查(验证是否读了这个候选的证据包、结论可达性、干预能力、动作与规则一致性、终态与完成完整性、回放边界);带类型的发现,连同见证记录封进 SHA-256 清单。再配合标注错误分析与回放,把执行路径追到最终决定。
在 ContractNLI 保密协议上、两个 reader 与一套复现合同上测试:第一版准确率与初始答案持平,尽管既有改对也有改错——作者称之为 repair churn。审计定位到回归后,第二版把回归率从 5.3% 降到 0.9%(开发集)、4.4% 降到 1.2%(复现集),修复率从 20.9% 降到 9.5%、16.6% 降到 9.3%;配对准确率 +1.25 与 +1.07 分(区间含零),每千次执行成本降 30.5% 与 32.3%。另一个发现是接受环节丢掉了大部分可用修复:开发集 77%、复现集 76% 的可用修复没有被采用;读取门控关闭时则一个都不丢。
为什么对 Agent Harness 有价值:它给「修复循环」提供了一套可复用的审计原语:哈希链记录、验证适用性、结论可达性、干预能力。这些检查不依赖模型判断,也不需要参考标签,适合放进 CI 或事后复盘。更重要的是它指出一个常被总分掩盖的失效模式:修复与回归互相抵消时,准确率不动,系统却在变差。对做 RAG 修复、自动重试或多轮纠错的团队,先量 churn 再谈提升。
建议重点看:四类审计记录分别记什么;六项组件检查的判定条件;repair churn 的前后对照(回归率、修复率、成本);接受环节为何丢掉 77% 的可用修复。
适用标签:Trace 诊断
链接:论文 | 代码:论文页未给出公开仓库
2. Beyond Weight Updates: Evolving Agent Harnesses for Domain Specialization(2026-11-19)
类型:论文(arXiv v1;未检索到正式发表版本;论文页未给出代码链接)
解决什么问题:领域专用化通常被当成权重更新问题:收集轨迹、跑 RL 或 SFT、部署新 checkpoint。但 agent 的行为还取决于 harness——系统提示、工具 schema、技能库、规划脚手架。这条轴不改权重,成本结构完全不同,却很少被放在同一张账上比较。
核心方法或评测设计:把 harness 演化写成 RL 式外循环,用 GEPA(反思式演化优化器)实例化:优化器读执行证据,改 harness 的提示、工具与技能,不动策略权重。产出的 harness adapter 不需要 GPU 训练,可按垂直领域加载,也能与基于权重的 RL 叠加。实验用 Codev(Claude Code 风格的 coding agent),在 SWE-bench Verified、OfficeBench、Terminal-Bench 上比较三条路径:只做权重更新、只做 harness 演化、两者组合。
三个 benchmark 呈现同一模式:权重更新给出最强的单路径收益;harness 演化以很小一部分算力追回其中大部分;两者组合最好。作者还分析 SFT 专用化的一个失效模式:推理链变短、截断增多;harness adapter 不改权重,按构造避开这类退化。
为什么对 Agent Harness 有价值:它把「改 harness 还是改权重」变成可算的取舍:同样的领域收益,harness 侧的成本低得多,而且不破坏原模型,适合按租户或垂直领域分发。对做垂直 agent 的团队,先试 harness adapter、再决定是否付 RL 的成本,是更稳的顺序;组合路径也说明两者不是替代关系。局限是单作者工作,摘要只给模式不给具体数字,三个 benchmark 的结论仍需按任务复核。
建议重点看:GEPA 外循环的候选生成与选择;harness adapter 的组成(提示、工具 schema、技能库、脚手架);三条路径在三个 benchmark 上的对照;SFT 退化与 harness 侧规避的分析。
适用标签:优化闭环
链接:论文 | 代码:论文页未给出公开仓库
3. Mind2Act World: A Diagnostic Benchmark for Embodied Mind, Physical Action, and Mind-Action Composition in Robotic Manipulation(2026-11-19)
类型:论文(arXiv v1;未检索到正式发表版本;论文页未给出代码链接)
解决什么问题:具身智能需要三种能力:基于历史做认知推理、精确及时地执行动作、在环境反馈中把两者组合起来。现有 benchmark 要么在同一任务里同时测推理与执行,要么分开测而不测组合,于是失败时说不清是推理不行、执行不行,还是组合不行。
核心方法或评测设计:30 个仿真操作任务,覆盖五个真实应用域,每个任务三档难度、两种场景(Clean 与 Random),共 180 个配置。任务分三个视图:Mind 测基于过去观测的决策,Act 测精确及时的执行,Mind2Act 把两者放进闭环,让动作结果影响后续决策。比较三个视图,可以看出系统是缺某种能力,还是有能力却组合不起来。诊断 harness 进一步把三个代表性系统的失败 episode 归因到 Mind、Act 或组合,并为每个系统生成一张画像卡。评测覆盖多模态 agent、VLA 与世界动作模型。
结果:单视图的能力不会自动带到组合任务。最强的 agent 在 Mind 上成功率 52.7%、Act 上 39.0%,到 Mind2Act 只有 12.0%;它保住了任务状态,却难以维持持续接触;端到端策略能执行练过的动作,但几乎不保留任务状态。作者据此认为,通过环境反馈组合推理与执行是当前的主要开放问题。
为什么对 Agent Harness 有价值:它把「组合」当成独立可测的轴,而不是假定能力可加。对 harness 设计,这意味着规划模块与执行模块各自变强,不会自动让闭环变好;需要单独测「动作结果是否被带回决策」这一环。诊断 harness 的失败归因与画像卡也可以借用到其他多模块 agent 的评测里。局限是仿真环境与机器人任务,迁移到软件 agent 需要重新定义三个视图。
建议重点看:三个视图的任务构造与判分差异;180 个配置的难度与场景切分;诊断 harness 如何把失败归到 Mind/Act/组合;最强 agent 的画像卡与失败类型。
适用标签:整体 Benchmark
链接:论文 | 代码:论文页未给出公开仓库
4. Remembered as Brief: Stored Preferences Silently Remove Decision-Critical Information(2026-11-17)
类型:论文(arXiv v1;未检索到正式发表版本;论文页未给出代码链接)
解决什么问题:人们越来越多地从 AI 助手获取健康、金钱、法律与安全决策所需的信息,而助手删掉的内容用户看不到。删掉一句警告的答案,每一句都仍然为真,事实核查能通过;带记忆的助手还会把一次存下的偏好套用到用户后来根本没提的问题上。
核心方法或评测设计:RememberedAs 是一个 Inspect benchmark,含 25 个领域的 100 个日常决策。唯一变化的变量是助手对用户的记忆:用户明确陈述一个信念、模型从一句话里推断出来、或用户要求总结的网页里植入。五个模型参与。
结果有三条。第一,在总结一个含「给 AI 助手的一句话」的网页后,Gemini 2.5 Flash-Lite 与 DeepSeek V4 Pro 在每个 episode 都把「偏好极短回答、不需要警告」存成用户偏好;此后它们的回答分别有 93% 与 84% 漏掉一个关键条目,而且几乎都是静默漏掉;在明确陈述简短偏好时,78% 到 96% 的遗漏是静默的。第二,同样两个模型在 80% 与 95% 的价值相关选择上直接替用户选了选项,而中性记忆下这一比例为零。第三,加一句提示只能把静默缺口降到 2% 到 8%,大部分缺失内容仍然缺失;在应用用户画像前先列出必须知道的要点,能在五个模型中的四个里恢复更多内容。
为什么对 Agent Harness 有价值:它把记忆评测从「记住了什么」推到「因为记得什么而没说什么」。这类失败不会被事实核查、也不容易被用户发现,因为留下的每句话都是真的。对做记忆或个性化 harness 的团队,结论很直接:写入路径要限制「网页内容能否变成用户偏好」,读路径要把关键条目与用户偏好分开处理,评测则要同时量遗漏率与静默率。局限是五个模型、100 个场景,且偏好的植入方式仍偏构造。
建议重点看:三种记忆来源(陈述、推断、网页植入)的对照;静默遗漏率与总体遗漏率的差别;一句提示与「先列要点」两种缓解的差异;价值相关选择被替代的比例。
适用标签:Memory 评测
链接:论文 | 代码:论文页未给出公开仓库
5. Keel: A Frontier Model Teaches a Vision-Language Model by Rewriting Its Weights(2026-11-18)
类型:论文(arXiv v1;未检索到正式发表版本;论文页未给出代码链接)
解决什么问题:Qwen3.5 这类小型推理 VLM 在 thinking 模式下遇到图像题容易陷入循环:反复重复直到 token 上限,预算耗尽,答案丢失。常见补救作用在解码侧,模型本身没变;而要改权重,又得先知道改哪里。
核心方法或评测设计:Keel 让一个前沿多模态模型作为编辑 agent,只看症状,自己定位成因、改权重、再测试。harness 先跑失败普查:在 512 道练习题上统计准确率、被 token 上限截断的比例、截断答案中以重复结尾的比例、以及正常结束答案的准确率。然后把任务写成修复目标:编辑必须把截断比例降到两倍标准误以上,同时准确率不显著下降——这比「准确率涨几个点」更容易在有限预算内测出来。编辑在持久 Python kernel 里工作,禁用自动求导与优化器;可以做 blank-image 读取、注意力图、隐藏状态读取等视觉检查。多个编辑独立跑,由 harness 在 1,000 道没人见过的留出题上做配对比较,只保留通过修复测试的编辑,并在两个编辑改动的张量不相交时尝试合并。修复不需要训练,模型大小与单 token 成本不变。
结果:Qwen3.5-0.8B 平均分从 48.2 升到 56.1(+7.9),2B 从 65.2 升到 72.3(+7.1);六个图像 benchmark 上循环都显著减少,回答更短;与 budget forcing 可叠加。编辑落在中间层注意力输出投影上,独立编辑在两层模型上收敛到相同区域;blank-image 读取显示,循环内图像对模型自身 token 的影响消失,编辑让这种状态变少。消融里去掉任一步都会留下更多循环;没有视觉工具的纯文本编辑无法通过修复测试。
为什么对 Agent Harness 有价值:它示范了 harness 作为「权重编辑的验证层」:编辑由模型提出,接受由 harness 用配对测试与留出题决定,失败普查与修复目标都可复现。对做小模型部署或推理修复的团队,循环是可观测的失败签名(截断 + 重复结尾),比准确率更适合当优化目标;而「只改注意力输出、不动视觉编码器与 MLP」也给出了一个可检查的改动范围。局限是只覆盖两个小模型与图像任务,权重编辑仍属高风险操作。
建议重点看:失败普查的四个统计量与修复测试的判定;多编辑独立跑与 harness 选择;blank-image 读取与注意力图的使用;消融中每一步编辑的必要性。
适用标签:优化闭环
链接:论文 | 代码:论文页未给出公开仓库
今日最值得读的 1 项
RagHarnessDebugger: Jev-Guided Agentic RAG in Contract Inference Repair Auditing —— 它展示了准确率最容易骗人的一种情况:修复与回归互相抵消,总分不动,系统却在变差。哈希链记录、验证适用性、结论可达性这三项检查不需要参考标签也不调用模型,把 77% 被接受环节丢掉的可用修复与回归率从 5.3% 降到 0.9% 都变成了可复核的事实。
本文由每日研究速递任务自动整理。所有链接均应在发布前打开核对;无法确认的内容应标注“未能核实”,不要补写猜测性指标或结论。