同一个 AI，换台机器就变笨了？

看到两个 AI 编程工具的成绩，一个高一点，一个低一点，我很容易把它读成：前者更聪明。

但这里藏着一个问题。如果把同一个模型换到另一套运行环境，成绩也变了，我们到底在给谁打分？

先澄清“换机器”的意思。用云端模型时，笔记本通常不负责计算模型的回答；它可能负责运行模型写出的程序、安装依赖、打开浏览器和执行测试。换一台机器，变的是这张工作台。脑子在远处，手边的工具和材料在这里。

我觉得理解 AI 编程工具，有必要把这两部分分开看。否则，一次等待超时会被说成不会做，一次环境升级又可能被说成模型进步。

回答一道题，和把一件事做完

假设我问 AI：“怎样把一批图片按尺寸分类？”它给出思路，我检查回答是否合理。这一轮主要看它写了什么。

如果我让它真的整理一个文件夹，情况就不同了：先列文件，再选读取图片的方法，写程序，运行，发现异常，修正，最后检查输出。中间任何一步卡住，任务都可能交不了。

为了把问题讲清楚，下面用一个假想实验，所有数字只是示意，并非我的实测成绩。

准备 100 张公开测试图片，要求生成清单，列出每张图片的名称和宽高，原图保持不变。模型、指令、图片都固定。环境甲已经装好图片处理库；环境乙没有，需要临时下载，而网络又很慢。两边都只给三分钟。

甲一分钟交出正确清单。乙两分钟后才装好库，剩下的时间不够跑完，于是失败。只看最后的成功标记，差距很清楚；但说乙的模型“不懂怎么读图片”，证据并不够。它可能一直在等下载。

这也不意味着乙应该被算成功。用户确实没收到清单。任务失败是事实，失败原因还需要另外判断。

工作台会改变能采用的方法

环境的影响，不仅是让一个本来正确的方案慢一点。有时候，它会改变什么方案能成立。

还是这份图片清单。一次把全部图片解码进内存，写起来很直接；每次只读一张、写一行结果，资源占用可能更小。前一种方法在宽松环境里能够完成，换到更紧的内存限制下，却可能中途被终止。

这时我会追问：任务有没有告诉 AI 内存预算？用户的要求是尽快交付，还是必须在这台小机器上长期运行？

如果约束早已明确，模型仍选了明显不合适的方法，这当然属于能力问题：理解限制并选择办法，本来就是完成任务的一部分。如果评测没说清限制，两套环境还采用不同规则，直接用分数推断谁更聪明，就很容易把条件差异算到模型头上。

现实里确实有类似研究。Anthropic 在 2026 年 2 月发布的实验中，固定模型、任务和运行框架，改变 Terminal-Bench 2.0 的资源配置，最宽松与最严格配置之间出现了 6 个百分点的成绩差距。这是那组实验的结果，不能理解成“给任何 Agent 加内存都会涨 6 分”。原始实验说明。

这条证据提醒我：看一个分数时，也要看它背后的考试条件。接下来这张卡，是我给自己整理的阅读顺序。

三分钟，到底从哪里开始算

时间预算看着最直观，实际也容易含糊。

在刚才的例子里，“三分钟”可以从用户发出请求开始，也可以从环境准备好后开始。前者包含下载和启动，后者把准备成本排除在外。两种口径各有用途，放在一起比较就不公平。

我自己设计小对照时，会把时间记成几段：准备环境、等待模型、执行工具、检查结果。这样即使总耗时相同，也能看见钱和时间花在了哪里。

比如，甲的程序跑了很久，乙调用模型的轮数很多。如果只留下一个“总计 180 秒”，后续很难判断该优化程序，还是该收紧任务说明。记录这些阶段不是为了给失败找理由，而是为了让下一次改动有方向。

重试次数也属于预算。甲只能交一次，乙可以修五轮，乙最后正确，并不代表它第一次就更准。反过来，如果买的是一个能自动修正错误的产品，那么多轮修正又是产品价值的一部分。

所以我会先写清自己想知道什么：是同样预算下谁更容易成功，还是允许各用各的办法，谁最终能以可接受的成本完成？问题不同，实验应该跟着变。

我会怎样做一次小规模比较

假如要为自己选一个整理资料的助手，我不会从跑一张大榜单开始。我会先挑几类平时真会遇到的公开文件：正常文件、文件名带空格的文件、无法读取的文件，以及结果为空的情况。

然后把验收写在开始之前。对图片清单而言，不能只检查“生成了一个 CSV”。还要核对文件是否齐全、尺寸是否正确、错误是否有说明，以及原图有没有被修改。一个外表漂亮但漏了十张图片的表，不该蒙混过关。

接着固定输入副本和起始环境。每轮使用新目录，避免上一轮留下的结果被下一轮捡走。依赖预装就都预装，允许联网就都允许；若想比较默认产品体验，也可以保留不同默认配置，但报告要明确比较的是整套产品。

每个工具多跑几次，保留每次结果。我会同时看成功次数、总耗时和最常见的失败点，不拿一次顺利演示代表长期表现。样本少的时候，结论也说小一点：这几类任务里更顺手，还谈不上全面胜出。

最后留一份简短的环境说明。模型和工具版本、任务文件、时间上限、可用资源、是否允许重试，这几项记下来，下个月再试才有可比性。不然，输入换了、工具升级了、网络也变了，却只记得“上次好像更快”，复盘就只剩印象。

这些步骤不要求建一个复杂平台。一个文件夹、一张记录表、几份可核对的产物，已经比看聊天界面的完成宣言可靠。

更高的分数，要回答更具体的问题

有个边界不能丢：把运行环境控制住，不等于必须给所有工具配最强的机器。

如果我要找的是能在现有电脑上工作的助手，电脑的限制就是需求。某个方案只有换设备才能完成，这个成本应该算进去。若我要比较模型本身的解题差异，才需要尽量让工具和预算一致，减少其他因素的干扰。

我现在更愿意把一个成绩读成完整的句子：在这批任务、这套环境和这份预算下，它完成了多少。

这句话没有“谁最聪明”那么痛快，却能指导真实选择。下次 AI 表现突然变差，我会先看它卡在了哪一步，再决定是换模型、换方法，还是把那张工作台修好。