最近用 ChatGPT、Codex 跑复杂开发任务时,我越来越在意一个现象:

同一个任务,重新跑一遍,结果可能完全不一样。

比如第一次让Agent处理:

修复订单接口并发情况下偶发重复写入的问题,不改现有API。

第一次执行时,它:

找到事务边界问题。

修改Service。

补了一组并发测试。

5个文件结束。

结果也正常。

过一会儿,你把“同样的任务”重新跑一遍。

这次Agent却:

先查消息Consumer。

然后怀疑幂等逻辑。

又修改数据库约束。

最后改了十几个文件。

更奇怪的是:

两套方案看起来居然都有一定道理。

于是一个很自然的问题出现了:

同一个仓库、同一个需求、甚至Prompt都差不多,为什么重新执行一次,会走出完全不同的路径?

很多人的第一反应是:

“AI本来就有随机性。”

这个解释不能说完全错。

但如果做真实工程,只停在这里基本没有意义。

因为真正决定Agent执行结果的,从来不只有Prompt。

更准确地说:

Same Prompt ≠ Same Execution State

你复制了同一句任务描述,

并不代表Agent第二次进入的是:

同一个工程现场。


一、你以为重跑的是“同一个任务”,实际可能已经不是同一个输入

假设第一次任务开始时:

Git Commit是A。

工作区干净。

测试全部通过。

依赖已经安装。

本地缓存存在。

数据库里有一批测试数据。

第二次重新执行时,表面看Prompt没变,但环境可能已经变成:

Git Commit还是A。

但工作区留下了第一次修改产生的临时文件。

测试数据库被改过。

某些缓存已经生成。

依赖下载到了更新版本。

甚至上一次失败测试留下了日志和产物。

这时候Agent面对的已经不是原来的世界。

可以简单理解成:

任务输入 = Prompt + Code + Environment + State + Tool Output

只要后面几项发生变化,

你就不能期待得到完全相同的执行过程。


二、最容易被忽略的是:工作区其实没有恢复

比如第一次Agent创建了:

临时配置。

测试数据。

生成文件。

构建缓存。

新日志。

甚至修改了一半但没有提交的代码。

第二次任务启动以后,

Agent搜索仓库时会把这些东西一起读进去。

于是第一次执行路径可能是:

当前项目没有幂等保护,需要增加。

第二次却可能变成:

项目已经存在部分幂等实现,需要补完整。

Prompt完全一样。

Agent理解到的Current State却已经不同。

所以真正要测试“同一个任务能不能复现”,第一步不是复制Prompt。

而是:

先恢复工作区。


三、同一个Commit,也不等于同一个执行环境

这一点和传统软件构建很像。

代码没变,但:

Node、Python、Java版本可能变。

系统包可能变。

Docker基础镜像可能变。

环境变量可能变。

依赖解析结果也可能发生变化。

比如任务需要运行:

npm install

如果依赖没有完全锁死,

第一次和第二次得到的真实依赖图就可能不同。

再比如Agent运行测试时,需要访问:

第三方API。

远程文档。

动态服务。

这些东西本身都不是静态输入。

于是:

代码相同,只能证明代码输入相同。

并不能证明:

整个Agent执行环境相同。


四、工具输出变化,也会改变后面的推理路线

Agent任务和普通“一问一答”最大的区别之一,就是它会不断调用工具。

例如:

搜索代码。

读取文件。

运行测试。

查看Git Diff。

执行命令。

读取日志。

这些工具结果会成为下一步决策的Evidence。

假设第一次测试结果是:

并发测试失败。

Agent自然会往:

锁、事务、幂等

方向继续分析。

第二次测试因为时序差异恰好通过,

Agent可能马上换一个方向:

也许不是并发问题,继续检查Consumer。

也就是说:

Agent后面的计划,并不是从最初Prompt一次性生成以后永远不变。

它会随着中间Evidence不断调整。

所以一次微小的工具输出差异,

经过十几步以后,

可能被放大成:

完全不同的执行路线。


五、测试本身如果不稳定,Agent路线自然也不稳定

比如一组测试存在:

随机数据。

时间依赖。

执行顺序依赖。

共享数据库状态。

并发竞争。

外部服务波动。

第一次:

Test A失败。

第二次:

Test B失败。

第三次:

全部通过。

人看到这种情况都会头疼。

Agent也一样。

因为每次它拿到的“当前最重要Evidence”都不同。

于是可能出现:

第一次围绕A修改。

第二次围绕B修改。

第三次甚至认为原来的问题无法复现。

所以如果Agent任务复现率很低,

别第一反应就怪Agent。

先检查一个更基础的问题:

你的验证系统本身稳定吗?

如果测试每次都给出不同答案,

Agent当然很难每次走同一条路。


六、还有一个更隐蔽的问题:文件读取顺序不同

复杂仓库里,同一个问题可能关联:

几十个文件。

Agent不可能在任务第一秒就同时理解整个项目。

它往往会:

先搜一个关键词。

打开几个高相关文件。

根据内容继续追调用链。

如果第一次先看:

OrderService

可能建立“事务问题”的假设。

第二次先看到:

OrderConsumer

可能先建立“重复事件”的假设。

后面所有搜索都会受到当前假设影响。

这其实很像人排Bug。

两个开发者面对同一个问题,

如果第一眼看到的Evidence不同,

后面调查路径也可能完全不同。

所以复杂Agent任务要提高可复现性,

不能只控制Prompt。

还要尽量控制:

初始Evidence。


七、真正需要冻结的是“任务起点”

如果一个任务值得反复执行、比较Agent结果,我更建议先做一个:

Execution Snapshot——执行快照。

至少记录:

代码状态
Commit / Branch / 工作区是否干净。

依赖状态
Lockfile、Runtime版本、容器镜像。

配置状态
关键环境变量、Feature Flag、配置版本。

数据状态
测试数据库、Fixture、Seed。

验证状态
任务开始前哪些测试通过,哪些失败。

这样你才能真正说:

“这是同一个任务的第二次执行。”

否则很多所谓“Agent这次和上次不一样”,本质上是:

起跑线已经不一样了。


八、任务输入最好分成两类:Frozen和Dynamic

还有一种更实用的做法。

把Agent依赖的信息分成:

Frozen Input

任务期间不应该变化:

需求。

目标Commit。

关键约束。

测试数据。

依赖版本。

Dynamic Input

允许变化:

实时日志。

线上指标。

外部服务状态。

当前部署状态。

这样一旦结果发生变化,

你就能继续判断:

是Frozen Input被污染了,

还是Dynamic Input本来就发生了变化。

这比简单说:

“Agent不稳定”

具体得多。


九、不要追求“每一步一模一样”

这里也需要明确一个边界。

Agent任务的工程可复现,

并不意味着:

每次必须读同样的文件。

输出完全一样的文字。

执行完全一样的步骤。

这既不现实,也没必要。

真正应该关注的是:

关键结果是否一致。

比如两次任务虽然执行路径不同,

但最后都:

找到相同根因。

修改相同边界。

保持API兼容。

通过相同关键测试。

那从工程角度看:

它依然可以是可复现的。

所以不要把:

过程完全一致

当成目标。

更重要的是:

Outcome Consistency——结果一致性。


十、哪些结果才值得比较?

我通常会看几个层次。

第一层:

Root Cause

两次是否识别出相同或兼容的根因?

第二层:

Change Scope

修改范围有没有突然从5个文件扩大到20个?

第三层:

Invariants

关键约束是否都保持?

第四层:

Validation

最终是不是通过同一套核心验证?

第五层:

Side Effects

有没有一次产生了额外重构,另一次没有?

如果这些关键结果差别特别大,

任务复现性才真正值得担心。


十一、我更推荐保留一份Run Record

例如一次重要任务结束以后,不只是保存最终Diff。

还记录:

Run ID

Input Snapshot

Root Cause

Key Decisions

Modified Scope

Validation Result

第二次重跑以后,同样生成一份。

这时候就可以直接比较:

Run A和Run B究竟差在哪里。

你可能会发现:

两次根因相同,只是实现不同。

也可能发现:

第二次从第一步开始拿到的Evidence就完全不同。

只有这样,Agent的“不可复现”才能真正被分析,而不是停留在感受。


十二、什么时候应该警惕?

如果同一个稳定工程任务反复执行以后:

一次判断数据库。

一次判断缓存。

一次判断消息队列。

修改范围每次都完全不同。

核心测试结果也不一致。

那就需要暂停继续放大Agent执行能力。

先检查:

工作区是否一致。

测试是否稳定。

工具输入是否动态。

依赖是否锁定。

初始Evidence是否明确。

完成标准是否统一。

否则增加更多执行次数,

只会得到:

更多互相矛盾的结果。


十三、可以建立一个很简单的复现流程

如果某个任务需要重复执行比较,可以用:

Freeze Input → Record State → Execute → Validate → Compare

也就是:

先冻结输入。

记录当前状态。

执行任务。

使用固定标准验证。

最后比较关键结果。

这和普通软件测试的思路其实非常像。

区别只是:

现在需要被测试的不只是代码。

还包括:

Agent Workflow本身。


十四、给自己看一个指标:任务复现率

这篇只看一个指标:

Task Reproducibility Rate——任务复现率

可以简单理解为:

在相同关键输入下重复执行任务,最终关键结果保持一致的次数 ÷ 总重复执行次数

例如同一个任务重复执行10次。

其中8次:

根因判断一致。

修改范围相近。

关键约束保持。

验证结果一致。

那么:

任务复现率 = 80%。

注意,这不要求10次生成完全一样的代码。

真正看的是:

工程结果能不能稳定收敛。


十五、任务复现率低,先别急着加Prompt

很多人的第一反应是:

Prompt写得不够详细。

于是不断往里面追加:

更多背景。

更多步骤。

更多限制。

有时候有效。

但很多时候真正的问题根本不是Prompt。

而是:

测试状态不稳定。

环境没冻结。

工具输出变化。

工作区被污染。

Evidence顺序不稳定。

如果这些不处理,

再长的Prompt也只能控制其中一部分变量。

所以更值得做的是:

先控制执行环境,再优化Prompt。


十六、Plus和Pro怎么判断?

如果你平时主要让 ChatGPT、Codex:

处理单个Bug。

修改范围比较小。

任务执行时间短。

偶尔重跑一次。

这种场景里,Plus通常已经够用。

真正值得先优化的是:

工作区。

测试。

依赖。

输入状态。

让任务本身变得更可复现。


如果你的使用已经变成:

大量Agent任务持续执行。

经常需要重复跑任务做方案比较。

跨多个仓库、工具和环境。

一次任务还要经历分析、修改、测试、验证和重跑。

每天都有很多成熟任务排队,

这时候 Pro会更适合。

因为更多AI容量可以用来:

并行比较。

重复验证。

长任务执行。

但有一个前提:

你的任务起点必须足够稳定。

否则更多容量只是让Agent:

更快地生成更多不同答案。


最后

同一个Agent任务重新跑一遍,

为什么会走出完全不同的结果?

真正的答案往往不只是:

“AI有随机性。”

更应该问:

两次执行真的处在同一个工程状态吗?

Prompt一样。

不代表:

工作区一样。

依赖一样。

测试一样。

配置一样。

数据一样。

工具输出也一样。

所以Agent工程真正开始成熟以后,我们需要关注的不只是:

能不能完成任务。

还要开始关注:

同一个任务,能不能稳定地再次完成。

当Execution Snapshot、Frozen Input、Run Record和固定验证开始建立起来以后,

Agent才真正从:

“这次做成了”

继续走向:

“这个Workflow可以重复做成。”

持续分享 Codex、大模型开发与 AI 编程实战内容。
长期深度使用各类代码大模型,也整理了
稳定的Plus/Pro会员订阅渠道,有需要可自取。

Logo

AtomGit AI 社区提供模型库、数据集、Agent、Token等资源

更多推荐