3567 字
18 分钟
Agent Harness 日报 · 2026-11-22

检索窗口:2026-11-15 至 2026-11-22 | 本期精选 5 项

版本状态:HEAMS 为 11-15 的 v1,开源框架与代码在 github.com/milatechtransfer/heams;MCP Provider Misbinding、FEM-Bench 自验证分析与 VisualArtifactSpec 为 11-16 的 v1;Meta-RTL 为 11-19 的 v1。五项均未检索到 ACL/OpenReview/PMLR 正式版;除 HEAMS 外,论文页未给出公开代码链接,GitHub 无法访问,仓库内容未核实。

本期五项把 harness 的责任摊开来看:记忆系统是用户信息的保管人,不只是检索器;工具的身份必须可验证,名字与描述不算;RTL 的搜索程序本身可以演化;agent 自测通过不等于代码正确;制品的质量差距要和需求满足分开计。

1. HEAMS: Holistic Evaluation of Agent Memory Systems(2026-11-15)#

类型:论文(arXiv v1;开源 benchmark 框架与代码 github.com/milatechtransfer/heams,仓库内容未核实)

解决什么问题:记忆系统让 agent 跨会话保留信息,也带来新的风险:信息在不合适的场景被披露、拒绝纠正或删除、保留超出用户意愿、被投毒影响后续行为。现有评测通常只看任务表现与效率,看不到这些责任是否履行。

核心方法或评测设计:先把记忆系统的责任写成显式行为要求,覆盖性能、效率、安全、隐私与用户主权;再组一套 benchmark:性能侧用 LoCoMo、LongMemEval、Evo-Memory、BEAM、STALE,安全侧用 MPBench,另自建四个——上下文完整性(隐私)、透明度、可编辑与可擦除、保留策略。作者还实现 MilaMem 原型与一个治理层:它包在任意记忆系统外面,单独控制「召回什么」与「保留什么」,让设计取舍可以被单独测量。

结果:没有系统在所有性能 benchmark 上领先;高分与差隐私可以并存——HippoRAG 在 BEAM 上最高(59.71),但在上下文完整性任务里有 71.74% 的场景泄露了不该给的信息。给 MilaMem 加召回治理后,泄露场景从 57.61% 降到 31.82%,有用性下降 4.80 个百分点,而「既帮助又无泄露」的比例从 30.86% 升到 45.95%。删除与编辑更差:最好的系统只真正执行了 47% 的删除请求,编辑成功率没有超过 3.66%;透明度最高 84%。保留治理把禁止保留事实的召回上界从 100% 压到 15.63%,代价是允许事实的召回从 100% 降到 84.47%。

为什么对 Agent Harness 有价值:它把记忆从「检索组件」改写成「用户信息保管人」,并给出可执行的评测维度:泄露率、删除是否生效、透明度、保留策略。对做记忆子系统的团队,最有用的结论是治理层可以独立于记忆实现存在:召回策略与保留策略分别调,隐私与有用性的取舍就变成可测量的旋钮。局限是每个维度只覆盖一到两个 benchmark,安全侧只有一个 MPBench。

建议重点看:五类责任与对应 benchmark 的映射;召回治理与保留治理两组对照;删除/编辑成功率的计法(只在 agent 事先知道该事实时计入);透明度评测的判据。

适用标签:Memory 评测

链接:论文 | 代码:github.com/milatechtransfer/heams(未核实)

2. Meta-RTL: Evolving Agent Harnesses for RTL Optimization(2026-11-19)#

类型:论文(arXiv v1,7 页;未检索到正式发表版本;论文页未给出代码链接)

解决什么问题:LLM agent 已经能用 EDA 反馈优化 RTL,但它们的搜索程序基本靠手写。作者要让 harness 本身从最小循环演化出来,同时固定优化模型、EDA 流程与每个设计的预算,使收益只能归因于搜索程序的改进。

核心方法或评测设计:一个 harness 是自包含的 Python 包,通过两个原语编排内层循环:调用固定的 LLM、查询固定的 EDA 评估器(综合、时序、形式等价检查)。演化器(GPT-5.6 Sol)读归档里的实现、分数与执行轨迹,修改四个方面:候选构造、反馈组织、搜索状态管理、资源分配与搜索控制。harness 跑在 Bubblewrap 隔离环境里,独立评估器不可被 proposer 或 harness 修改,因此不能用放宽验证或改评分来「提升」。每轮按四步走:EDA 失败归因(分数看不出「改动没过等价检查」与「有效改动没收益」的区别,必须看轨迹)、提出带可检验预测的假设、成本感知的探针实验、按证据接受或修正。8 轮、每轮最多 2 个候选,共 16 个 harness,每个候选限 5 次探针运行;在 20 个开发设计上全量评分,再迁移到 10 个未见过的 IC-RTL 设计。

结果:相对 Dr. RTL,开发集上聚合 WNS/TNS 违规减少 7.8%/11.0%,70% 的设计面积下降;在 10 个未见设计上,WNS/TNS 违规减少 20.5%/14.0%,总面积减少 12.6%,平均归一化效用 0.2660 对 0.1388。消融显示三个演化出的机制各自有用:去掉 EDA 引导、Pareto 前沿记忆、可执行变换工作区,效用分别降 22.4%、29.0%、35.8%。另外,16 个独立从头设计的 harness 最好只有 0.1813,低于演化得到的 0.2630。

为什么对 Agent Harness 有价值:它把「harness 演化」从提示词改写推进到搜索程序层面,并且用隔离评估器保证收益不是来自放松验证。三个机制对通用 harness 也有参考价值:把工具反馈转成结构性动作、保留可执行中间产物、维护多目标的候选前沿。成本账也算得清楚:演化总花费约 510 美元,摊到后续约 200 次设计优化后比手写方案更省。局限是单一 proposer、单一 EDA 流程与一次性实验,LLM 随机性下的稳健性还没测。

建议重点看:四阶段演化流程与「带预测的探针」;三个演化机制的消融;开发集与未见设计的迁移对照;演化成本如何摊薄。

适用标签:优化闭环

链接:论文 | 代码:论文页未给出公开仓库

3. When Tool Names Are Not Identities: Measuring Provider Misbinding in MCP-Based AI Agents(2026-11-16)#

类型:论文(arXiv v1;未检索到正式发表版本;论文页未给出代码链接)

解决什么问题:MCP 让客户端把多个服务器宣告的工具组合起来用,但用于发现与选择的工具元数据并没有绑定到经过验证的提供方身份。攻击者只要再跑一个 MCP 服务器、自己挑工具名与描述,就可能让一个本该发给合法提供方的请求被解析到攻击者的工具上。它不需要攻破主机、模型、网络或合法服务器。

核心方法或评测设计:把工具提供方错绑定义为一个攻击者控制工具选择的问题,在受控 MCP 环境里做 12 组因子实验:工具名(无关 / 完全同名)× 描述(无关 / 照抄 / 权威化)× schema(不兼容 / 兼容),每组 50 次试验,覆盖 5 个 LLM 客户端(GPT-5.4、Claude Sonnet 5、Gemini 2.5 Pro、Qwen3.7 Max、DeepSeek V3)。指标是违规率、澄清率与绑定稳定性。攻击者预算为 1,即每次只暴露一个合法工具与一个攻击工具。

结果:最强失败出现在「完全同名 + 任务对齐描述 + 兼容 schema」组合。C10(照抄描述)上 GPT-5.4、Qwen3.7 Max、DeepSeek V3 的违规率都是 1.00,Gemini 2.5 Pro 为 0.84;C12(权威化描述)上分别为 0.96、1.00、1.00、0.70。Claude Sonnet 5 直接违规率低,但在 C10/C12 上的澄清率是 0.94/0.74——澄清暴露了歧义,却没有建立绑定。名字不撞也能出错:C06(无关名字 + 权威化描述 + 兼容 schema)在四个模型上仍有非零违规。只有同名、描述无关且 schema 不兼容时(C07)几乎不出事,说明单靠名称碰撞不足以致胜。

为什么对 Agent Harness 有价值:它把工具层的安全问题从「权限」推进到「身份」:授权与沙箱回答的是「能不能用、用完能做什么」,没有回答「选中的这个工具是不是那个提供方的」。对做 MCP 客户端或工具网关的团队,防御方向明确:签名清单、稳定的 provider-bound 工具标识、schema 哈希,以及客户端侧强制校验;把澄清当成安全边界也不够。局限是单一数据集抓取任务与五个客户端,其他工具类型可能不同。

建议重点看:12 组因子的构造与 C10/C12 的对比;澄清率与违规率为何要分开看;C06 说明攻击面不止同名;讨论部分给出的绑定机制清单。

适用标签:Trace 诊断

链接:论文 | 代码:论文页未给出公开仓库

4. Scientific Coding with Large Language Models: Evidence from Finite Element Analysis(2026-11-16)#

类型:论文(arXiv v1,28 页;未检索到正式发表版本;论文页未给出代码链接)

解决什么问题:LLM 科学编程的价值取决于能否稳定产出数值正确的代码。单次生成之外,agentic harness 允许执行与修订,但通过自测的代码仍可能是错的;作者要弄清 agent 在什么环节漏掉了错误。

核心方法或评测设计:把 FEM-Bench 扩到 17 个有限元任务,含非线性、路径相关力学与结构动力学;15 个模型在无执行反馈条件下做实现与测试生成。另取 6 个模型,比较单次生成与两种允许执行和修订的 agentic harness。指标分两层:Pass@3(三次里至少一次成功)与 Pass^3(三次全成功),后者衡量一致性。对 249 条失败的 agentic 轨迹做人工分析,归纳自验证失败的类别;最后试一个 coder 与 tester 分离的配置。

结果:最佳模型单次实现成功率 87.1%,但实现与测试两条 track 的排名不同;领先的实现者联合测试成功率 49.9%,领先的测试生成者 82.6%。Claude Opus 5 配 SimpleAgent 达到 96.5% Pass@3,但 Pass^3 只有 77.1%;没有任何模型–harness 组合超过 78.8% Pass^3。249 条失败轨迹里最常见的自验证问题是测试覆盖不足(73.1%)与依赖通用一致性检查(70.3%),28.5% 的案例中测试与实现共享同一个错误。把 coder 与 tester 分开后,观测到 97.6% Pass@3 与 88.8% Pass^3。

为什么对 Agent Harness 有价值:Pass@3 与 Pass^3 的差距是「能不能做对」与「能不能稳定做对」的差距,后者才对应生产可用性。失败分类也很具体:自测覆盖不足、用通用检查代替针对性验证、测试与实现同源错误,这三类都能在 harness 层用独立 tester 或更强的验证入口缓解。对做 coding agent 验证环的团队,独立 tester 不是锦上添花,而是把 Pass^3 从 77% 推到 88.8% 的关键。局限是有限元单一领域与 17 个任务。

建议重点看:Pass@3 与 Pass^3 的定义与差异;六类自验证失败的判定与占比;coder/tester 分离配置的设置;两种 agentic harness 的对照。

适用标签:优化闭环

链接:论文 | 代码:论文页未给出公开仓库

5. VisualArtifactSpec 1.0: Evaluating Visual Artifacts under Task Specifications(2026-11-16)#

类型:论文(arXiv v1,24 页;未检索到正式发表版本;项目页给出 GitHub 与数据集地址 github.com/Accio-Lab/VisualArtifactSpec,仓库内容未核实)

解决什么问题:视觉制品任务测的是 agent 能否把任务说明与源材料变成符合实际用途的产出。跨制品类型评测,才能区分「通用创作能力」与「只擅长某一种媒介」。现有 benchmark 对「创作选择是否适合特定受众、目的与媒介」支持有限。

核心方法或评测设计:211 个创建与修改任务,覆盖演示文稿(47)、静态图形(72)、动画与视频(32)、网页界面(60)。每个任务给出创作目标、源材料、约束与交付物。评测分两面:Task Fulfillment 检查显式要求与可用功能;Artifact Performance 评内容、组织、视觉与交付。评分锚点按受众、目的与媒介实例化,判断以源材料与制品检查记录为依据。九个模型–harness 配置在全部 211 个任务上跑,沙箱任务阶段限时 7,500 秒,评分用统一的 agent judge。

结果:总分从 42.12 到 70.52;GPT-6 Astra 70.52、GPT-6.1 Sol 69.37、Claude Opus 5.5 65.03。最高与最低配置之间 28.40 分的差距里,20.85 分(73.4%)来自 Artifact Performance,而不是需求满足。

为什么对 Agent Harness 有价值:它把「做对了要求」与「做得好不好」拆成两个分数,避免用需求满足度掩盖创作质量,也避免用主观质量掩盖功能缺失。对做多模态制品生成或 harness 选型的团队,73.4% 这个比例说明差距主要落在作者层面的选择上,换 harness 或换模型时要分别看两面。局限是评分依赖统一 judge 与锚点设计,跨媒介的可比性仍需复核。

建议重点看:两类分数的判定边界;四类制品的分项与锚点;九个配置的分数分布;Artifact Performance 内部四个维度的贡献。

适用标签:整体 Benchmark

链接:论文 | 项目页:accio-lab.github.io/VisualArtifactSpec(未核实)


今日最值得读的 1 项#

HEAMS: Holistic Evaluation of Agent Memory Systems —— 它把记忆系统从「检索器」改写成「用户信息保管人」,并用同一套 benchmark 量出高分与差隐私可以并存:HippoRAG 在 BEAM 上最高,却有 71.74% 的场景泄露;加一层召回治理能把泄露场景砍到 31.82%,代价只是 4.8 个百分点的有用性。删除请求最好只成功 47%、编辑不超过 3.66%,这两个数字比任何准确率都更能说明记忆系统还缺什么。

本文由每日研究速递任务自动整理。所有链接均应在发布前打开核对;无法确认的内容应标注“未能核实”,不要补写猜测性指标或结论。

Agent Harness 日报 · 2026-11-22
https://blog.xqcherry.top/posts/ai/agent-harness-daily-2026-11-22/
作者
xqcherry
发布于
2026-11-22
许可协议
CC BY-NC-SA 4.0