← 返回

NEWS · 快讯

标签:SWE-bench

查看带有该精确标签的快讯。

订阅此筛选 RSS

共 2 条快讯 · 门户最近更新

研究称 agent 框架差异主要源于 token 消耗:精简提示词与工具最高可省 3 倍成本

作者称在 SWE-bench Verified 上用同一模型运行 Claude Code、mini-SWE-agent 和 OpenCode:Claude Code 与 mini-SWE-agent 在 447 个任务上得分相差 5 分以内,高难度 45 任务子集上各有 13% 结果翻转。成本差异来自每步重复发送的系统提示词与工具 schema,作者建议精简两者,称可在不降准确率的前提下将成本削减最高 3 倍。

dair_ai查看原文 ↗

研究:模型不变时,agent harness 可带来最高 3 倍成本差异

作者称在 SWE-bench Verified 上用同一模型运行了 Claude Code、mini-SWE-agent 和 OpenCode:前两者在 447 个任务上得分相差不超过 5 分,更换 harness 的影响约等于重跑一次(45 题困难子集上各有 13% 结果翻转)。成本差异主要来自每一步重复发送的 system prompt 和 tool schema;精简 harness 提示词和工具可在不降低准确率的情况下最多降本 3 倍。

omarsar0查看原文 ↗

#SWE-bench · AI快讯 · Portal