ChatGPT、Codex工程机制:同一个Agent任务重新跑一遍,为什么会走出完全不同的结果?
最近用 ChatGPT、Codex 跑复杂开发任务时,我越来越在意一个现象:
同一个任务,重新跑一遍,结果可能完全不一样。
比如第一次让Agent处理:
修复订单接口并发情况下偶发重复写入的问题,不改现有API。
第一次执行时,它:
找到事务边界问题。
修改Service。
补了一组并发测试。
5个文件结束。
结果也正常。
过一会儿,你把“同样的任务”重新跑一遍。
这次Agent却:
先查消息Consumer。
然后怀疑幂等逻辑。
又修改数据库约束。
最后改了十几个文件。
更奇怪的是:
两套方案看起来居然都有一定道理。
于是一个很自然的问题出现了:
同一个仓库、同一个需求、甚至Prompt都差不多,为什么重新执行一次,会走出完全不同的路径?
很多人的第一反应是:
“AI本来就有随机性。”
这个解释不能说完全错。
但如果做真实工程,只停在这里基本没有意义。
因为真正决定Agent执行结果的,从来不只有Prompt。
更准确地说:
Same Prompt ≠ Same Execution State
你复制了同一句任务描述,
并不代表Agent第二次进入的是:
同一个工程现场。
一、你以为重跑的是“同一个任务”,实际可能已经不是同一个输入
假设第一次任务开始时:
Git Commit是A。
工作区干净。
测试全部通过。
依赖已经安装。
本地缓存存在。
数据库里有一批测试数据。
第二次重新执行时,表面看Prompt没变,但环境可能已经变成:
Git Commit还是A。
但工作区留下了第一次修改产生的临时文件。
测试数据库被改过。
某些缓存已经生成。
依赖下载到了更新版本。
甚至上一次失败测试留下了日志和产物。
这时候Agent面对的已经不是原来的世界。
可以简单理解成:
任务输入 = Prompt + Code + Environment + State + Tool Output
只要后面几项发生变化,
你就不能期待得到完全相同的执行过程。
二、最容易被忽略的是:工作区其实没有恢复
比如第一次Agent创建了:
临时配置。
测试数据。
生成文件。
构建缓存。
新日志。
甚至修改了一半但没有提交的代码。
第二次任务启动以后,
Agent搜索仓库时会把这些东西一起读进去。
于是第一次执行路径可能是:
当前项目没有幂等保护,需要增加。
第二次却可能变成:
项目已经存在部分幂等实现,需要补完整。
Prompt完全一样。
Agent理解到的Current State却已经不同。
所以真正要测试“同一个任务能不能复现”,第一步不是复制Prompt。
而是:
先恢复工作区。
三、同一个Commit,也不等于同一个执行环境
这一点和传统软件构建很像。
代码没变,但:
Node、Python、Java版本可能变。
系统包可能变。
Docker基础镜像可能变。
环境变量可能变。
依赖解析结果也可能发生变化。
比如任务需要运行:
npm install
如果依赖没有完全锁死,
第一次和第二次得到的真实依赖图就可能不同。
再比如Agent运行测试时,需要访问:
第三方API。
远程文档。
动态服务。
这些东西本身都不是静态输入。
于是:
代码相同,只能证明代码输入相同。
并不能证明:
整个Agent执行环境相同。
四、工具输出变化,也会改变后面的推理路线
Agent任务和普通“一问一答”最大的区别之一,就是它会不断调用工具。
例如:
搜索代码。
读取文件。
运行测试。
查看Git Diff。
执行命令。
读取日志。
这些工具结果会成为下一步决策的Evidence。
假设第一次测试结果是:
并发测试失败。
Agent自然会往:
锁、事务、幂等
方向继续分析。
第二次测试因为时序差异恰好通过,
Agent可能马上换一个方向:
也许不是并发问题,继续检查Consumer。
也就是说:
Agent后面的计划,并不是从最初Prompt一次性生成以后永远不变。
它会随着中间Evidence不断调整。
所以一次微小的工具输出差异,
经过十几步以后,
可能被放大成:
完全不同的执行路线。
五、测试本身如果不稳定,Agent路线自然也不稳定
比如一组测试存在:
随机数据。
时间依赖。
执行顺序依赖。
共享数据库状态。
并发竞争。
外部服务波动。
第一次:
Test A失败。
第二次:
Test B失败。
第三次:
全部通过。
人看到这种情况都会头疼。
Agent也一样。
因为每次它拿到的“当前最重要Evidence”都不同。
于是可能出现:
第一次围绕A修改。
第二次围绕B修改。
第三次甚至认为原来的问题无法复现。
所以如果Agent任务复现率很低,
别第一反应就怪Agent。
先检查一个更基础的问题:
你的验证系统本身稳定吗?
如果测试每次都给出不同答案,
Agent当然很难每次走同一条路。
六、还有一个更隐蔽的问题:文件读取顺序不同
复杂仓库里,同一个问题可能关联:
几十个文件。
Agent不可能在任务第一秒就同时理解整个项目。
它往往会:
先搜一个关键词。
打开几个高相关文件。
根据内容继续追调用链。
如果第一次先看:
OrderService
可能建立“事务问题”的假设。
第二次先看到:
OrderConsumer
可能先建立“重复事件”的假设。
后面所有搜索都会受到当前假设影响。
这其实很像人排Bug。
两个开发者面对同一个问题,
如果第一眼看到的Evidence不同,
后面调查路径也可能完全不同。
所以复杂Agent任务要提高可复现性,
不能只控制Prompt。
还要尽量控制:
初始Evidence。
七、真正需要冻结的是“任务起点”
如果一个任务值得反复执行、比较Agent结果,我更建议先做一个:
Execution Snapshot——执行快照。
至少记录:
代码状态
Commit / Branch / 工作区是否干净。
依赖状态
Lockfile、Runtime版本、容器镜像。
配置状态
关键环境变量、Feature Flag、配置版本。
数据状态
测试数据库、Fixture、Seed。
验证状态
任务开始前哪些测试通过,哪些失败。
这样你才能真正说:
“这是同一个任务的第二次执行。”
否则很多所谓“Agent这次和上次不一样”,本质上是:
起跑线已经不一样了。
八、任务输入最好分成两类:Frozen和Dynamic
还有一种更实用的做法。
把Agent依赖的信息分成:
Frozen Input
任务期间不应该变化:
需求。
目标Commit。
关键约束。
测试数据。
依赖版本。
Dynamic Input
允许变化:
实时日志。
线上指标。
外部服务状态。
当前部署状态。
这样一旦结果发生变化,
你就能继续判断:
是Frozen Input被污染了,
还是Dynamic Input本来就发生了变化。
这比简单说:
“Agent不稳定”
具体得多。
九、不要追求“每一步一模一样”
这里也需要明确一个边界。
Agent任务的工程可复现,
并不意味着:
每次必须读同样的文件。
输出完全一样的文字。
执行完全一样的步骤。
这既不现实,也没必要。
真正应该关注的是:
关键结果是否一致。
比如两次任务虽然执行路径不同,
但最后都:
找到相同根因。
修改相同边界。
保持API兼容。
通过相同关键测试。
那从工程角度看:
它依然可以是可复现的。
所以不要把:
过程完全一致
当成目标。
更重要的是:
Outcome Consistency——结果一致性。
十、哪些结果才值得比较?
我通常会看几个层次。
第一层:
Root Cause
两次是否识别出相同或兼容的根因?
第二层:
Change Scope
修改范围有没有突然从5个文件扩大到20个?
第三层:
Invariants
关键约束是否都保持?
第四层:
Validation
最终是不是通过同一套核心验证?
第五层:
Side Effects
有没有一次产生了额外重构,另一次没有?
如果这些关键结果差别特别大,
任务复现性才真正值得担心。
十一、我更推荐保留一份Run Record
例如一次重要任务结束以后,不只是保存最终Diff。
还记录:
Run ID
Input Snapshot
Root Cause
Key Decisions
Modified Scope
Validation Result
第二次重跑以后,同样生成一份。
这时候就可以直接比较:
Run A和Run B究竟差在哪里。
你可能会发现:
两次根因相同,只是实现不同。
也可能发现:
第二次从第一步开始拿到的Evidence就完全不同。
只有这样,Agent的“不可复现”才能真正被分析,而不是停留在感受。
十二、什么时候应该警惕?
如果同一个稳定工程任务反复执行以后:
一次判断数据库。
一次判断缓存。
一次判断消息队列。
修改范围每次都完全不同。
核心测试结果也不一致。
那就需要暂停继续放大Agent执行能力。
先检查:
工作区是否一致。
测试是否稳定。
工具输入是否动态。
依赖是否锁定。
初始Evidence是否明确。
完成标准是否统一。
否则增加更多执行次数,
只会得到:
更多互相矛盾的结果。
十三、可以建立一个很简单的复现流程
如果某个任务需要重复执行比较,可以用:
Freeze Input → Record State → Execute → Validate → Compare
也就是:
先冻结输入。
记录当前状态。
执行任务。
使用固定标准验证。
最后比较关键结果。
这和普通软件测试的思路其实非常像。
区别只是:
现在需要被测试的不只是代码。
还包括:
Agent Workflow本身。
十四、给自己看一个指标:任务复现率
这篇只看一个指标:
Task Reproducibility Rate——任务复现率
可以简单理解为:
在相同关键输入下重复执行任务,最终关键结果保持一致的次数 ÷ 总重复执行次数
例如同一个任务重复执行10次。
其中8次:
根因判断一致。
修改范围相近。
关键约束保持。
验证结果一致。
那么:
任务复现率 = 80%。
注意,这不要求10次生成完全一样的代码。
真正看的是:
工程结果能不能稳定收敛。
十五、任务复现率低,先别急着加Prompt
很多人的第一反应是:
Prompt写得不够详细。
于是不断往里面追加:
更多背景。
更多步骤。
更多限制。
有时候有效。
但很多时候真正的问题根本不是Prompt。
而是:
测试状态不稳定。
环境没冻结。
工具输出变化。
工作区被污染。
Evidence顺序不稳定。
如果这些不处理,
再长的Prompt也只能控制其中一部分变量。
所以更值得做的是:
先控制执行环境,再优化Prompt。
十六、Plus和Pro怎么判断?
如果你平时主要让 ChatGPT、Codex:
处理单个Bug。
修改范围比较小。
任务执行时间短。
偶尔重跑一次。
这种场景里,Plus通常已经够用。
真正值得先优化的是:
工作区。
测试。
依赖。
输入状态。
让任务本身变得更可复现。
如果你的使用已经变成:
大量Agent任务持续执行。
经常需要重复跑任务做方案比较。
跨多个仓库、工具和环境。
一次任务还要经历分析、修改、测试、验证和重跑。
每天都有很多成熟任务排队,
这时候 Pro会更适合。
因为更多AI容量可以用来:
并行比较。
重复验证。
长任务执行。
但有一个前提:
你的任务起点必须足够稳定。
否则更多容量只是让Agent:
更快地生成更多不同答案。
最后
同一个Agent任务重新跑一遍,
为什么会走出完全不同的结果?
真正的答案往往不只是:
“AI有随机性。”
更应该问:
两次执行真的处在同一个工程状态吗?
Prompt一样。
不代表:
工作区一样。
依赖一样。
测试一样。
配置一样。
数据一样。
工具输出也一样。
所以Agent工程真正开始成熟以后,我们需要关注的不只是:
能不能完成任务。
还要开始关注:
同一个任务,能不能稳定地再次完成。
当Execution Snapshot、Frozen Input、Run Record和固定验证开始建立起来以后,
Agent才真正从:
“这次做成了”
继续走向:
“这个Workflow可以重复做成。”
持续分享 Codex、大模型开发与 AI 编程实战内容。
长期深度使用各类代码大模型,也整理了稳定的Plus/Pro会员订阅渠道,有需要可自取。
更多推荐

所有评论(0)