AI 连着成功五次，和五次里成功一次，差在哪？

看 AI 演示的时候，我最容易被一个瞬间打动：一句话交代完，它自己找资料、整理文件，最后交出一份像样的结果。那种感觉很直接——原来这件事已经能交给它了。

但把视频关掉，换成自己的任务，我又会多想一步：刚才那一遍，是第一遍就成了，还是试了几遍以后留下的最好版本？

这不是怀疑演示造假。即使那次成功完全真实，它回答的也只是“有没有可能做成”。我们真正需要的，常常是另一个答案：明天再来一次，换一批材料，在没人盯着的时候，还能不能做成？

一次成功值得高兴。只是从“它会做”走到“我可以交给它”，中间还隔着一段需要单独验证的路。

先把“成功”说得笨一点

假设有这样一个任务：让 AI 把十份公开活动资料整理成一张清单，列出活动名称、日期和报名链接，并把日期不明确的条目标出来。这里的材料、次数和结果都是为了说明问题设置的例子，不是某个产品的实测。

第一次运行，它交出一张排版整齐的表格。打开看，名称齐全，链接也都像那么回事，很容易就把这一遍记成成功。

但如果我们真要拿清单安排时间，验收就得更具体：十份资料是不是都覆盖了？活动日期有没有误用文章发布日期？报名链接是不是指向对应活动？没有找到日期时，它有没有坦白说不知道？

这几个条件不华丽，却决定了清单能不能用。只要其中一项被省略，所谓成功就会悄悄换一个意思：从“资料整理正确”，变成“生成了一张表”。

我会在开始前把这些条件写下来。能直接核对的就直接核对，比如行数、链接目标、原始资料有没有被改动；需要理解语义的，再逐条对照原文。文字好看可以另外评价，不能抵消日期写错。

还有一种容易漏掉的成功：材料不足，AI 正确停下来，把缺口指出来。任务本来要求不猜日期，它没有填满表格，恰恰可能是在遵守要求。若验收只奖励“全部填完”，我们训练出来的信心就建立在猜测上。

两句话，看的是两种能力

继续用这批材料，独立跑五遍。每一遍都从同样的原始资料开始，用事先写好的标准检查，得到这样的记录：失败、失败、成功、失败、成功。

如果问题是“五遍里面有没有一次能用”，答案是有。如果问题是“能不能五遍都交对”，答案就是不能。过程没变，结果没变，差别只在于我们到底想问什么。

第一种问题适合探索能力上限。让 AI 想五个标题，你本来就会挑一个；让它尝试几种代码写法，你有完整测试来筛选，拿到一个通过的版本就有价值。失败的候选可以被丢弃，挑选动作也是工作的一部分。

第二种问题更接近重复交付。每天来一批新资料，系统都要给出可用清单。今天正确不能补偿昨天遗漏，下一次成功也不会自动修好上一次错误。你在意的是稳定完成，而不是收藏一个漂亮样本。

Anthropic 在一篇 Agent 评估文章 中把这两个方向分别称为 pass@k 和 pass^k：前者关心尝试若干次至少成功一次，后者关心这些尝试全部成功。名字可以不记，两个问题不能混在一起。

尤其要留意演示中的人。有人不断补充提示、挑掉错误结果、手动改好最后一列，这套组合当然可能非常有效。但此时证明的是“人带着 AI 可以完成”，并没有顺便证明“AI 可以独立完成”。两者都有价值，也该分别计量。

重试次数越多，为什么能讲出相反的故事

先做一个简化计算。假设单次成功概率是八成，而且每次尝试相互独立，成功概率也保持不变。

跑五次，至少成功一次的概率是多少？先看反面：五次全失败的概率是五个两成相乘，得到万分之三点二。所以至少成功一次的概率是百分之九十九点九六八，看起来几乎稳了。

但五次全部成功，需要五个八成相乘，结果只有百分之三十二点七六八。单次能力完全没变，一边的数字接近满分，另一边却只剩大约三分之一。

这不是统计技巧在骗人。它恰好提醒我们，“多试几次总能出来”不能直接推导出“连续交付很可靠”。在前一种口径里，增加尝试是在增加机会；在后一种口径里，增加尝试是在增加必须守住的关口。

这里的独立假设很重要。真实 AI 的失败可能扎堆出现：同一种模糊日期总被误读，同一个网页总打不开，同一条工具说明总让它选错。重复点击并不一定带来全新的机会，不能把图上的数字当成某个工具的可靠性预测。

反过来，如果它会利用上次失败的信息调整方法，下一次也不再是相同条件下的独立抽签。那就应该评估整套“尝试、检查、修正”的流程，明确总共给多少时间和多少次机会，而不是一边享受纠错，一边仍把结果叫作单次成功率。

五次也不是可靠性的认证门槛。五次全对，是比一次全对更有用的证据，仍然不足以覆盖换材料、换时间、换环境后的变化。图里的计算用来澄清问题，实际判断还得靠真实任务记录。

能不能挑出成功，比能不能生成更多更关键

“那我每次都让它跑五遍，挑一份好的不就行了？”这确实可以是一种方案，但要先回答：谁来挑，凭什么知道挑对了？

写标题时，我能直接判断哪一个更合适。修改程序时，测试覆盖到的行为可以自动检查。整理活动资料却没那么简单：五份清单都写得流畅，其中只有一份日期正确，若我没有重新打开原始资料，五选一可能只是凭语气投票。

同一个模型再读一遍自己的结果，也不能自动成为独立保证。它可能沿用同一种误解，尤其在没有补充原始证据时。对这一类任务，增加生成次数之前，更值得花力气的是把验收做实。

一个具体办法是让清单保留每个日期对应的原文片段和出处。我检查时就能直接从结论跳回依据。这样做不会神奇地消灭错误，但会降低发现错误的成本；有些缺乏证据的条目，也会更早暴露出来。

如果挑选一份结果需要二十分钟，而自己整理只要十五分钟，多跑五遍并没有省下时间。可以把生成费用、等待时间、人工核对和返工一起记下来。对个人使用来说，这通常比一个孤零零的成功率更有解释力。

更不能忽略副作用。生成五份候选文本很容易丢弃，重复修改文件或发送消息却会留下真实变化。允许多次尝试之前，得先知道失败是否可恢复、动作是否会重复生效。重试预算应该跟着任务走，不能只跟着模型的耐心走。

一张记录表，比收藏成功截图有用

我觉得开始评估不必先搭一套复杂平台。选一个自己确实会反复交出去的小任务，准备几份脱敏或公开材料，就能开始。

先选不同形状的样本。活动清单里，可以有信息齐全的、缺少日期的、同一活动被两篇文章介绍的，以及页面有更新说明的。它们分别检验提取、承认未知、去重和识别变化。把同一份简单材料复制几十遍，次数很多，覆盖的难点仍然只有一个。

接着固定任务说明、工具和预算。所谓一次运行，到底允许内部修改几遍，等待多久，是否能问人，都要事先说清楚。每次从干净副本开始，避免前一遍留下的正确结果，变成后一遍不该有的参考答案。

最后留下一张表：样本是什么、用了几次尝试、是否满足全部必要条件、哪里失败、花了多久、人补了什么。失败的记录跟成功一样保留。否则测着测着，分母就消失了，只剩“已经成功过很多回”的印象。

碰到失败不要立刻换一句提示词再算新成绩。先看它是没找到资料、理解错字段、工具中断，还是验收标准不合理。比如要求“没有日期就注明”，却把所有空日期都判失败，这样的低分反映的是检查方式有问题。

改进以后，把旧样本重新跑一遍，还要留一些没有参与调整的新样本。旧题证明修复没有退回去，新题帮助判断是不是只把几个答案背熟了。若只围着失败的那一份材料改提示词，很容易得到一个只对那份材料管用的技巧。

记录也不要只剩一个总分。十次里九次通过，剩下一次只是标题格式不合适，和剩下一次把不确定日期写成确定事实，是完全不同的风险。可以同时记录任务完成情况和错误类型，再根据错误后果决定要不要放手。

还有一个很容易乐观的地方：把不同难度的任务混着算。假设大多数活动资料格式整齐，少数才缺字段，整体通过率就会被简单样本托起来。偏偏真正需要人帮忙的，可能一直是那一小类。记录时给样本加上类型，再看看每一类的表现，能避免平均数把问题藏住。

也不要把修改前后的不同题目直接拿来比较。今天用十份简单材料，明天用十份复杂材料，成绩下降不一定意味着工具退步。想知道一次改动有没有帮助，最好让前后版本面对同一批输入，保留相同预算，然后再补充新材料。这像检查一把尺子，先让被测的东西尽量不动，才看得清尺子本身有没有变化。

这些记录不是为了给 AI 发一张永久合格证。模型、工具、网页和任务都会变化。它们更像一份有日期的使用说明：目前验证过哪些范围，还有哪些地方只能谨慎试用。

自主权可以一点点交出去

另换一个例子：让 AI 批量给公开图片重命名。起初只让它输出“旧文件名对应新文件名”的计划，我看过再执行。确认命名规则和冲突处理稳定以后，可以让它在副本里实际修改，并自动检查文件数量与内容是否保持一致。

这时的进步，不只是成功率变高了。任务边界清楚了，验收便宜了，失败也容易恢复。我愿意给它更多自主权，有一部分信心来自这些条件，而不只是来自模型本身。

再换成开放式调研，判断就不同了。一份报告可能没有唯一标准答案，事实是否充分、遗漏是否重要，都需要读者的背景知识。此时让 AI 收集资料、标出证据、起草结论很有帮助，但不能因为前几份报告读着顺，就默认后面的都可以免审。

同一个 AI，适合全自动做一个小任务，同时适合在人监督下做另一个大任务，这并不矛盾。自主权不是一次授予的总开关，它跟着任务范围、验收能力和错误代价变化。

我现在看一个令人惊艳的演示，还是会被它打动。但我会多留一个位置，放那些没被展示的尝试：失败了几回，人帮了哪里，换一份材料会怎样。

真正让我愿意把重复工作交出去的，不是它终于做对的那一刻，而是我逐渐知道：它在什么条件下做得稳，哪里可能出错，出了错又能怎样被发现。