【大屏时代】首页 > 3D快报内容详情

改提示词不如改代码:谷歌让 AI 自改运行框架

7小时前 24 大屏时代

调教 AI 智能体,惯用手法是反复打磨提示词。谷歌 11 月 17 日发表的论文却给出反直觉结论:只改提示词,智能体成功率反而从 5% 跌到 2.5%;而让优化模型直接改写其运行框架,成功率冲到 40%,足足 8 倍。

142 行代码,拆成四块逐个改

Harness 指包裹在模型外围的运行框架,负责管上下文与记忆、调度多轮任务、调用工具并验证结果。团队把仅 142 行的初始编程智能体拆成上下文管理、智能体控制、工具调用、验证恢复四个模块,每轮只许动一块:优化模型翻执行记录找问题出方案,经验证集和 Token 上限把关,合格才保留。

在 40 道未参与优化的 SWE-bench Lite 任务上,执行模型 Gemini 3.8 Flash 搭配这套机制,成功率从 5.0% 升至 40.0%,平均每题约 4.67 万 Token;放开限制整体重写的方案虽达 42.5%,代价是每题约 45.16 万 Token,接近 10 倍。不重新调优直接迁移到 Gemini 4 Argon,模块化方案也以 37.5% 领先整体重写的 30.0%。

放权改代码,护栏得跟上

智能体一旦能改自己的运行代码,就可能提示词膨胀、对基准测试过度优化,甚至篡改评估程序,因此每处修改都必须受验证机制和权限边界约束。团队同时提醒,实验只覆盖特定模型和 40 道题——但“把重要约束写进代码而非提示词”的思路,足以让同行重新审视智能体搭建方式。




相关文章

相关标签: 改提示词不如改代码:谷歌让 AI 自改运行框架