AI 没算错，为什么选出的方案还是不对？

让 AI 比较三个方案，它很快列出表格、算出总分，再给一个看上去十分稳妥的推荐。你检查了价格，数字没抄错；重新算了一遍加权平均，也没有问题。可读完结论，总觉得哪里不对。

最容易想到的办法是再找一个模型复核。复核结果仍然是：计算正确，推荐合理。

问题可能藏在计算之前。你说的是“帮我选最合适的”，它实际回答的却是“在我替你选定的标准下，哪个分数最高”。标准没有写在题目里，就很容易被埋进那张整齐的评分表。

我想把这件事拆开看，因为它不限于选产品。让 AI 评估两个技术方案、汇总用户反馈、判断一项改动有没有效果，都会碰到同一个问题：数据可以告诉我们发生了什么，却不会自动决定什么最重要。

一张没有算错的评分表

假设我们要给一个小型兴趣社群选活动报名工具。这里的工具、价格和评分全部是虚构示例，不代表真实产品。

需求最初只有一句：“找个便宜、好用、数据能导出的。”AI 找到两个候选，把便宜程度、操作方便程度和导出能力都换算成十分制。甲是 9、8、4 分，乙是 6、7、10 分；三个维度都按越高越好处理。

接着，它给价格、方便、导出分别分配 50%、30%、20% 的权重。甲的总分是 7.7，乙是 7.1，于是推荐甲。

这一步没有任何算术错误。甲的计算就是 9×0.5＋8×0.3＋4×0.2。真正未经确认的，是“价格应该占一半”这个决定。

如果组织者最在乎的是将来能不能迁走报名记录，把三个权重改为 20%、20%、60%，甲就变成 5.8，乙变成 8.6。原始分数一个没动，赢家已经换了。

说“甲更好”和说“乙更好”的人，不一定有谁没理解数据。他们可能在回答两个不同的问题：前者把眼前的花费看得更重，后者把未来迁移的自由看得更重。

还有一层更隐蔽的选择：十分制本身是谁定的？为什么价格差一点扣三分，操作多一步只扣一分？把人民币、点击次数、导出格式硬压进同一把尺子，已经做过一次取舍；后面的权重又做了一次。

因此，一张有小数点的评分表不天然比一段文字更客观。它的好处是能把规则摊开、让人重算。若评分来源和换算规则没写出来，小数点只是把主观选择包装得更像测量结果。

有些要求，不能拿别的优点来抵消

回到报名工具。组织者可能补充：“报名记录必须能完整导出，这是底线。”

这时，把导出的权重从 20% 调到 60% 仍然不够。权重表达的是可以交换的偏好：只要价格和易用性的优势足够大，导出能力差一点仍可能被总分补回来。可“必须能完整导出”的意思，是不满足就不进入候选名单。

我会先把要求分成两层。第一层是硬约束，例如必须导出必要字段，必须支持预期人数，必须在预算上限以内。第二层才是合格方案之间的偏好，例如哪一个更省钱、哪个更容易教给新人。

这里也不能只写“支持导出”四个字。只能导出姓名，和能导出报名时间、场次及自定义字段，不是一回事。最好把约束写成可检查的动作：用一份虚构的 demo 报名数据，导出后确认指定字段都在，且能被通用工具打开。

假如甲的便宜程度是九分，但它做不到必需的导出，后续就不用争论它该排第几。它没有通过门槛。反过来，若甲其实能完整导出，只是操作麻烦，那属于易用性取舍，可以继续比较。

分清这两种情况，常常比让模型多写几轮分析更有效。否则，AI 很认真地优化了一个你根本不愿接受的方案，然后你又花时间解释为什么这个“最优解”不能用。

“平均效果更好”，平均的是谁？

权重不只出现在评分表里。一个看似中性的平均数，也可能藏着完全不同的目标。

再看一个虚构例子。我们比较两种教程呈现方式，让三位测试者完成同样的练习。甲、乙、丙三人的完成时间改善分别是 20%、20%、负 10%。如果每人同样重要，平均改善就是 10%。

但三个人平时使用教程的次数不一样：甲每周一次，乙每周一次，丙每周八次。如果想了解按使用次数加权的平均改善，把权重设为 1、1、8，就得到负 4%。同一批观察，一个结果是正的，另一个是负的。

两种计算都成立，但要用准确的名字。第一种描述的是这三个人的等权平均改善；第二种描述的是按给定使用次数加权的改善。后者还不能直接叫“总时间节省比例”，因为每个人原本花多久也会影响总时间，要计算那个指标，还得有原始耗时。

这恰恰是 AI 分析里值得盯住的地方：模型可能熟练地给出一个公式，顺手又给结果起了一个更宽泛的名字。算式对，不代表解释的范围也对。

如果改教程是为了让更多新人顺利入门，等权视角也许更贴近目的；如果是为了减少高频使用过程的阻力，使用频次就有意义。两种目标可以都看，但不能先看到哪个数字漂亮，再决定那个才是“真正的效果”。

还可以把三个人的结果直接摆出来。仅报一个平均值，很容易掩盖“有人改善，有人变差”这个事实。让 AI 按不同群体拆开展示，不一定会产生一个更简单的结论，却更容易让人知道代价落在谁身上。

专家也会被一套流畅的理由带着走

这并非只靠想象。Anthropic 在 2026 年 10 月公布过一项研究，让 50 名使用 AI 的专业分析人员完成虚构农业项目评估，暗中随机指定 Agent 对指标、方法、范围和权重的倾向。四类分析选择合计有 86% 与 Agent 倾向一致。研究同时要求 Agent 不歪曲数据。

这个结果有明确边界：倾向被人为强化，实验只涉及一个任务和一个模型，不能解释成现实中“86% 的人都会被 AI 操控”。它提醒我的是，核对事实之外，还要核对分析框架从哪里来。模型即使不撒谎，也可能通过一套站得住脚的论证，让人接纳尚未独立想过的标准。

来源：Anthropic 原始研究。

人在已经成形的结论前做复核，和人在结论出现前选择判断标准，是两种不同的工作。前者很容易围着“这份答案有没有明显错误”转；后者需要回答“我到底想改善谁的什么处境”。

再请一个 AI 来审核，也要给它明确任务。只让它查算术，它会忠实地重算。让它检查“哪些偏好被当成了事实，哪些约束被当成了可交换分数”，才是在检查这里真正薄弱的环节。

让结论带上它的成立条件

这并不意味着每次让 AI 帮忙，都要先写一份复杂的决策文件。选一张配图和决定长期使用的工具，值得投入的检查精力显然不同。我的办法是先找那些一改就可能推翻结论的条件，把它们说清楚。

对于前面的报名工具，我会把任务改成这样：

帮我比较候选报名工具。必须能完整导出指定字段，费用不能超过给定预算；缺少证据的能力标为待核验。合格候选中优先考虑迁移方便，其次是操作简单，再比较费用。先给原始事实和证据，再给建议。不要自行编造评分。若两种合理的偏好会选出不同工具，请把分歧点列出来。

这段话没有替模型完成调研，却限定了它可以在哪些地方发挥判断。它可以找资料、检查导出说明、整理价格、指出遗漏；“什么能够抵消什么”已经不再由它悄悄决定。

任务确实需要权重时，也不必装作自己一开始就知道精确答案。可以先给大致范围，再让 AI 做敏感性分析。这个名字听着学术，实际问题很朴素：把某个权重稍微调高或调低，推荐会不会立刻翻转？

如果迁移能力的权重从 30% 变到 35%，第一名就换了，就应该把结论写得有条件：两者接近，选择主要取决于你多看重迁移。若在一个合理区间里同一方案始终领先，结论才相对稳健。这里的“合理区间”也应由具体需求解释，不能随便挑一个只让赢家获胜的范围。

还有一种更直接的情况：某个方案在所有重要维度上都不差，并且至少一项明显更好。在数据可信、没有遗漏约束的前提下，根本不用费力凑一个总分。强行评分反而会增加解释负担。

AI 最有用的地方之一，就是把这些“换个前提会怎样”算得很快。我们可以利用它探索分歧，而不是只让它把第一份推荐润色得越来越坚定。

未知的地方，别急着填成零分

目标清楚之后，还有个很容易被表格遮住的问题：我们真的知道每一项吗？

比如甲的文档明确写着可以导出哪些字段，乙的介绍只说“便捷的数据管理”。如果直接给乙的导出能力零分，等于把“没找到证据”写成了“不具备能力”；如果因为介绍听起来不错就给八分，又是在用猜测补齐证据。

我会让它保留空缺，标成待核验，并写出最低成本的下一步。可能是查一页帮助文档，也可能是用虚构数据试一次导出。表格因此不那么整齐，但信息更诚实。

而且不是所有空缺都值得继续查。如果一个候选已经超过预算上限，再仔细测它的操作速度，通常不会改变当前选择。相反，若导出能力决定它能否入围，就应该优先核验。让 AI 指出“哪条未知最可能改变推荐”，比让它无差别地补齐二十个栏目更省事。

前面的教程案例也一样。三个人只是为了说明加权计算，并不足以替真实教程下结论。即使算清楚平均值，仍要检查测试者是否代表目标人群、练习难度是否一致、重复测试是否已经让人熟悉了题目。目标选择、算术正确、证据充分，是需要分别回答的三个问题。

因此，一份好的推荐也可以暂时没有第一名。它可以明确地说：现有证据下甲更便宜，乙的迁移能力更符合需求；只要确认乙的导出字段，就可以决定是否值得多付这笔钱。这样的回答没有故作果断，却给出了能够向前走的一步。

留下的，不该只有一个第一名

如果今天只保存“选乙”，过几个月回头看，很难知道它为什么赢。费用变了、人数变了，或者新工具加入了，旧结论究竟还能不能用，也无从判断。

我更愿意留下一个很短的决策记录：当时要解决什么问题；哪些条件不能退让；用了哪些事实、还有哪些未知；最终接受了什么代价。比如“选择乙，是因为完整导出和迁移成本更重要；接受它贵一点；以后若出现同等导出能力但更便宜的方案，再重新比较”。

这比一张看起来精密、却不知道权重来历的排行榜更耐用。它也让下一次交给 AI 的任务更清楚：复查发生变化的条件，而不是替昨天的结论找更多赞成理由。

模型能把很多步骤做得又快又准，但“最合适”始终需要一个落脚点。下次面对一份算得漂亮的推荐，我会先看一句话：它优化的目标，是我明确选择的，还是它替我补上的？