AI 给了结论，却找不到依据：怎样让调研结果可追溯

让 AI 帮忙选一个工具，它很快就能列出功能、价格、优缺点，最后给出一个看起来很有把握的推荐。可一旦追问“离线到底能用哪些功能”“这个限制是哪个版本的”，整份答案突然变得不好用了。

我看这种回答，最在意的并不是链接够不够多，而是能否顺着某一句话，找到支撑它的那一小块材料。链接能打开，只说明网页存在；网页提到了产品，也不代表它证明了推荐理由。调研真正有价值的部分，往往藏在这两步之间。

为了把问题说具体，假设我们要给一个读书小组选笔记工具，候选叫 demo-A 和 demo-B。成员希望在没有网络时编辑笔记，之后能导出 Markdown，还希望免费方案够用。下面的产品、说明页和时间变化都是教学假设，不对应真实品牌。

这看起来是个很小的决策，却足够暴露 AI 调研里几种常见的断裂：把相近概念当成同一件事，把一个版本的承诺挪到另一个版本，以及把自己的判断写得像来源已经说过。

先把“推荐”拆成能核对的句子

如果我只问“哪个更适合读书小组”，回答可以从很多角度展开，也容易在展开过程中悄悄改变标准。它可能认为界面漂亮更重要，也可能把付费方案的功能算进免费方案。最后给出的排名再整齐，也未必回答了真正的问题。

我会先写清楚这次决定：只比较桌面端的免费方案；断网以后需要新建和修改笔记；导出后要能在普通文本编辑器里继续阅读。这样，“支持离线”就不能用“缓存过的页面还能看”来交差，“能导出”也不能只指导出一张图片。

下一步是把结论拆开。对于 demo-A，至少要分别确认“断网能新建”“断网能修改”“免费账户能导出 Markdown”。这些句子可能需要查不同的材料。不能因为帮助中心有一页标题叫“离线模式”，就让它替三句话一起担保。

拆分并不是为了把答案写得零碎，而是为了让判断有一个最小的检查单位。后来如果发现免费版不支持批量导出，我们可以改掉对应的一行，而不必把“demo-A 很适合”这一整段推倒重来。能够局部纠错，是可追溯性最直接的回报。

找到材料以后，还差一次“对得上吗”

检索增强生成常被简称为 RAG。它的一个基本思路，是让生成过程利用检索得到的外部材料，而不只依赖模型参数里的知识。原始研究讨论了把检索与生成结合起来的方法，但不能由此推导出“接了搜索，答案就自动可靠”。RAG 原始论文

放到我们的例子里，搜索负责把 demo-A 的帮助页找出来，阅读负责确定它写了什么，综合负责判断那些信息对小组有什么意义。这三个动作可以由同一个助手完成，却仍然是三个需要分别检查的环节。

假设帮助页写的是“已同步的笔记可在断网时阅读”。AI 如果据此说“支持离线使用”，日常语感上似乎不算离谱；如果继续把它填进“断网可新建和编辑”的比较表，就已经跨过了原文没有承诺的一步。问题不在于网页是假的，而在于回答扩大了它的意思。

所以我会让每条重要结论旁边都有一段简短的证据记录：来源是谁、哪一节、原文实际支持什么、有哪些限定。原文很长时，可以保留必要的短摘录或准确转述和定位信息，不必复制整页。只给首页链接，复查的人还得重新做一次搜索，成本并没有真正省下来。

这里还要分清两种问题。一种是“重要断言有没有依据”，另一种是“放在这里的依据能不能支撑这句断言”。引用评估研究 ALCE 把引用质量作为独立维度来考察，这个区分很有启发性：文章语言顺畅，不等于引用就合格。ALCE 论文

我不会把一篇历史论文中的实验结果当成今天所有产品的成绩单。对实际使用更有帮助的，是借用这个检查方式：先看有没有漏掉关键断言，再看每个引用是否对准了它声称支持的内容。

“来源写了”与“我认为”之间留一道缝

继续看 demo-A。假设正式文档确认了离线编辑和单篇 Markdown 导出，但没有写批量导出的免费额度。这时一份诚实的调研应当留下空白：“免费方案的批量导出限制尚未确认。”这句话比一个听起来合理的额度更有用。

如果小组每次只整理一篇读书笔记，我可以进一步判断：“单篇导出可能已经够用，值得优先试一下。”前半句是依据使用方式做出的推断，后半句是行动建议。它们都可以合理存在，却不应该被伪装成官网的结论。

我习惯在工作底稿里用三个很朴素的标记：已确认、推断、待确认。已确认也要带条件，例如“桌面端、指定版本、文档所述能力”；推断要写出从哪些事实推过来的；待确认要说明缺什么。最后面向读者的文字不必满篇标签，但底稿不能把三者揉在一起。

这样做还有一个好处：遇到相互矛盾的信息时，不急着选边站。假设官网说可以导出，论坛用户说导出失败，先看两者是否在谈同一平台、同一账户和同一种文件。一个说单篇文本，一个说整本带附件的笔记，两句话完全可能同时成立。

如果条件相同而结果冲突，就保留冲突，并设计一个小验证：用不含私人信息的样例，新建一篇带标题、列表和附件的笔记，断网编辑，再导出检查。这个测试只能证明当时那个账户和环境的结果，不能自动提升为所有用户的普遍保证。

第一个反例：三个网站，只有一份证据

假设我们查到三篇介绍，都写着 demo-B 的免费方案支持无限导出。三篇文章各有网址、各有作者，放进报告里显得很扎实。但顺着发布时间和引用找回去，发现它们都转述同一篇发布公告，连遗漏的限定条件都一样。

这并不意味着三篇介绍毫无价值。它们可能解释得更通俗，也可能给了不同的使用角度。只是对于“免费导出是否无限”这一个事实，它们没有提供三次独立确认。把转载次数当成证据强度，会让一个早期错误越传越像常识。

我的处理办法是把这几条材料连回共同源头，先读最初公告。如果问题涉及现在的套餐，再找当前的套餐说明；如果关心实际可用性，就需要合适的试用记录。来源数量与来源之间的独立性，是两件事。

反过来，也不能把“官方”当成所有问题的通行证。官方资料适合确认产品承诺了哪些功能，体验顺不顺、导出是否丢格式，还需要更贴近使用场景的证据。来源够不够好，要看它能回答什么，而不是只看域名有多熟悉。

第二个反例：旧答案没错，今天已经不适用

再假设 demo-B 在某次更新后调整了免费方案。旧帮助页、旧教程甚至旧截图都可能真实存在，AI 据此整理出的答案也可能忠实复述了原文。然而我们今天要决定用什么，旧事实就不能原封不动地充当当前事实。

我会同时保留资料的发布时间或版本，以及自己实际查看的时间。两者用途不同：发布于较早日期的文档可能仍然有效，刚刚打开的网页也可能多年没有维护。记录“今天查过”，不能把过期材料变新。

具体到选型，影响决定的限制应当优先查当前产品文档、套餐页或版本说明；找不到明确答案，就让“不确定”留在结论里。对于不太会变化的概念解释，复查成本可以低一些。没有必要把所有句子都放进每天重新验证的队列。

时间还会影响推荐的寿命。与其说“demo-B 是最佳选择”，我更愿意写：“按本次核对的免费方案，demo-B 满足这三项需求；若导出限制变化，需要重新比较。”读者因此知道这条建议何时该失效，也知道下一次从哪里接着查。

给 AI 的任务，可以具体到这一步

我会把请求改成：“比较 demo-A 和 demo-B，限定桌面端免费方案。逐项核对断网新建、断网修改、Markdown 导出。每个关键断言给出能直接支持它的来源和章节；把已确认事实、你的推断、未确认事项分开。遇到矛盾先核对版本和适用条件，不要用猜测补齐表格。”

如果工具确实能打开网页，还应要求它阅读正文，而不是只根据搜索摘要组织答案。摘要适合发现线索，常常没有足够空间容纳限定条件。若正文打不开，最有用的反馈是“这里只看到摘要”，而不是把摘要悄悄升级成已经核实的事实。

拿到结果后，我不会平均用力地检查所有措辞。我先挑会改变决定的几句话：免费是否成立、离线是否满足需要、数据能否带走。逐条打开来源，确认原文、条件和结论是否一致。这是按决策影响分配精力，不是用抽查证明全文绝对无误。

还有一种容易忽略的情况：来源本身只能证明有人说过这句话。例如论坛里一位用户声称导出会丢附件，我们可以确认“存在这样的反馈”，却不能只凭这一条帖子确认“所有导出都会丢附件”。把报告的句子写到证据真正能到达的位置，比在末尾补一句“仅供参考”更有效。

如果最终要把资料交给别人，我会把短摘录、页面标题和定位信息一起留下。网页可能改版，章节名称也可能变化；保留少量关键上下文，至少能解释当时为什么得出那个判断。涉及非公开材料则另当别论：只在允许的范围内保存，不为了方便核查把私人文档上传到公共工具。

这些记录的价值在下一次修改时尤其明显。小组后来增加了“手机端也要离线”的要求，只需补查新的平台条件，已有桌面端证据仍然可以使用。把依据与结论分开保存，调研才会成为可以续接的材料，而不是必须从头再问一次的聊天记录。

然后再请 AI 做一次反向检查：“假如这个推荐是错的，最可能错在哪条前提？哪条前提目前只有间接证据？”这种提问的价值在于暴露缺口，不在于保证模型一定能抓出自己的错误。真正决定结果的关键项，仍要靠读原文或实际验证。

也不是所有任务都值得建一张证据表。头脑风暴、起标题、整理我已经给出的材料，通常不用给每句话找外链；涉及产品选择、技术约束、会随时间变化的事实，保留依据就更划算。要求越多越好，反而可能让检查变成形式。

一份调研的交付物，可以只有一页：当前建议、影响建议的几条事实、对应依据，以及尚未解决的问题。不必展示模型每一步怎么思考，但必须让接手的人知道为什么可以相信这些事实，哪里还不能相信。

对我来说，好的 AI 调研不是替我消灭所有疑问，而是把疑问安放在可以继续检查的位置。下次有人问“这句话从哪里来的”，我希望能指出一段材料、一个适用条件，或者坦率地说：这一点，我们还没有证据。