2016 年 3 月的一个下午，首尔。我亲眼看着一个由我参与开发的程序，在围棋棋盘的第五线上落下一子，那一步看起来简直像是在给它的人类对手送礼。在五局对决的第二局中，第 37 手显得如此荒谬，以至于一些评论员一度以为程序出了故障。
但并没有。AlphaGo 赢下了这局棋，并最终以 4 比 1 战胜了李世石（Lee Sedol）——有史以来最伟大的职业围棋棋手之一。
“我原本以为 AlphaGo 是基于概率计算的，它只不过是一台机器。”李世石后来回忆道，“但看到这一手之后，我改变了想法。AlphaGo 无疑具有创造力。”
1997年，“深蓝”（Deep Blue）击败当时的国际象棋世界冠军加里·卡斯帕罗夫（Garry Kasparov）时，它所采用的方法，是为双方分别向前计算六到八步，并按照人类硬编码的规则，每秒评估2亿个国际象棋局面。
但围棋的复杂程度要高得多。一枚棋子的价值，取决于相隔很远的棋群和地盘在之后几十手棋中如何演变。即便只计算所有可能结果中的一小部分，也会让超级计算机耗费数十亿年。
要想获胜，AlphaGo 必须能够一眼判断谁占优势，甚至还要创造出人类从未想过的落子。很多关于 AlphaGo 与李世石这场对决的叙述，都把“第 37 手”描述成机器纯粹依靠直觉迸发出的灵光一现，但这其实是一种误解。真正促使 AlphaGo 做出这一创造性选择的，是它的推理能力。而这种能力，今天的 AI 仍然缺乏。
如果我们希望未来的 AI 系统能够在科学、医学等领域产出可信的结果和真正新颖的洞见，就必须赋予它们这种真正意义上的推理能力。
AlphaGo 由两个系统组成。第一个是它的策略网络（policy network），它接受训练，以预测一名高水平人类棋手会走哪一步。这个负责“直觉”的部分并不认为第 37 手有什么特别之处，按照它的判断，一名专业人类棋手走出这一手的概率大约只有万分之一。
真正让 AlphaGo 最终选择这一手的，是它的搜索机制。这一机制不会只看眼前某一步是否合理，而是进一步评估每个候选落子在未来可能产生的后果。它会明确构建并搜索一棵拥有数千个分支的博弈树，每一个分支都代表一种不同的未来可能性。
行为科学中有一个广为人知的理论，它把人类思维分成两种模式：一种系统是快速、依赖直觉、几乎不费力的；另一种系统则是缓慢、一步一步推进，并且需要审慎思考的。
AlphaGo 恰好为这种划分提供了一个非常鲜明的机器版本。它的神经网络负责提供“直觉”：“这一手看起来不错。”“这个局面看起来已经赢了。”而它的搜索机制则负责审慎推演，通过分析接下来可能出现的一系列落子与反击，来检验这些直觉究竟是否成立。
和人类认知一样，两者缺一不可。如果只有直觉，AlphaGo 永远不会选择第 37 手；而如果只有暴力搜索，它又很难从数量庞大的可能落子中筛选出真正值得探索的选项。
这与今天 AI 模型的工作方式有着显著区别。大型语言模型所做的事情，是一次又一次地预测下一个 token。从某种意义上说，这就是系统1的工作方式——快速、依靠联想，而且在几乎所有人类写作涉及的领域中，都表现出了惊人的模式补全能力。
ChatGPT 推出后不久，整个领域就逐渐意识到：仅仅拥有流畅的语言能力，并不足以让模型真正变得有用。看起来真正可行的解决方案，是让模型学会“深思熟虑”。也就是说，模型不再立刻给出答案，而是可以先生成一系列中间步骤，把一个问题拆解开来，保留部分计算结果，并让这些中间结果影响后续的推理过程。
这个过程就是所谓的思维链。它确实带来了明显提升，尤其是在数学和编程领域。但是，与 AlphaGo 的搜索机制不同，思维链并没有真正引入一个独立的推理机制。这些中间推理步骤，依然是通过同一种“预测下一个 token”的机制生成的。模型只是在最终给出答案之前，让这个过程运行得更久、迭代更多次而已。
从科学家可能认可的“推理”标准来看，目前聊天机器人所做的事情存在三个关键缺陷。第一，它们通常没有一个明确、持久而且可以检查的“认知状态”。不存在一本公开的“账本”，能够清楚记录：模型目前正在考虑哪些假设；它对不同解释分别有多大信心；它正在权衡哪些证据；还有哪些问题尚未解决。而真正的推理系统，应该随着新信息不断到来，系统性地修正这些内容。
第二，它们并没有把“系统知道什么”和“系统如何处理这些知识”清晰地区分开来。知识和推理过程不可分割地交织在神经网络的权重之中。换句话说，并不存在一套独立、明确表示出来的“信念”，供另一个推理机制进行操作。
第三，聊天机器人生成的思维链虽然看起来像是在进行审慎推理，但研究已经表明，它们经常是在答案产生之后才编造出这些解释。也就是说，模型实际上可能通过路径 A 得到了答案，却在回答中声称自己是通过路径 B 得出的。
这是问题的关键所在。因为在医学、工程和科学研究等我们极为重视的高风险应用中，重要的不仅是一个系统得出了什么结论，还包括它究竟是如何得出这个结论的。当错误发生时，我们必须能够准确找到错误究竟出在哪里：是系统的推理出了问题？它使用了无效的证据？还是它做出了错误的假设？
这也是为什么我最近离开了 Google DeepMind。我认为，我们需要一种全新的机器推理方法，一种能够借鉴 AlphaGo 架构的方法。AlphaGo 会保存一份关于自己对当前局面认知的记录：博弈树。这一数据结构包含 AlphaGo 考虑过的所有变化和可能的未来。每一步棋、每一种局面，都会附带由其神经网络作出的判断。随着推理不断推进，AlphaGo 会持续更新这棵博弈树，并最终综合其中的信息，决定下一步应该怎么走。类似地，一个具备通用推理能力的系统，也应该维护一个认知状态。
它应该明确表示：哪些事情，系统认为已经确定；哪些事情，它仍然怀疑；哪些可能性已经被排除；哪些问题依然没有答案。这样一来，所谓“推理”，就可以被理解成一系列不断改变这一认知状态的动作，其目的就是推进知识、减少不确定性。
这些动作可能包括：推导某个结论会带来哪些后果；把复杂问题拆分成若干部分；以及最重要的是，决定接下来应该提出什么问题、进行什么计算，或者开展什么实验。
当然，在开放世界中进行推理，要比下围棋或国际象棋困难得多。在现实世界里，我们对当前状态的了解往往是不完整的；可以采取的行动数量庞大而且不断变化；行动带来的结果也可能具有随机性，甚至完全未知。
但近年来 LLM 和其他神经模型的发展，已经让我们具备了处理这类通用推理问题的能力。例如，LLM 可以根据当前已知的信息以及可利用的资源，提出解决问题的方法。它们也可以通过 API 或代码与各种工具进行交互，并帮助判断某项主张是否得到了现有证据的支持。
最重要的是，为了确保系统不会“自欺欺人”，系统中必须存在一个独立的部分，负责评估每一步行动究竟在多大程度上真正减少了不确定性。只有当某种认知变化获得证据支持时，系统才能更新自己的信念。一旦强制执行这些规则，模型就可以不断积累经过验证的知识，并通过过去的推理经验学习，逐渐改进自己的推理策略。
你可以把这样的系统理解成一种“加强版的科学方法”，它的目标是产生真正经得起审查的知识。我不认为，只要把“系统 1 ”做得越来越大，我们就能获得值得信赖的机器智能。规模扩张可以让直觉变得更加敏锐，却不会让直觉自动变成审慎推理。
第 37 手之所以重要，是因为一台机器面对一个局面，权衡了不同未来的可能性，然后选择了一步连它自己的“人工直觉”原本都很可能会否定的棋。社会真正需要的，正是这样的创造性一步。
我们需要它们出现在药物发现、材料科学、气候研究和疾病诊断中。在这些领域，现实世界的“棋盘”与围棋棋盘完全不同，而且没有人会事先把游戏规则交给我们。只有真正能够推理的系统，才能带来这样的洞见。
这样的系统所得出的结论，应该来自一系列可以审查的证据、推断和信念修正过程，而不是先得到答案，再在事后讲出一个听起来令人信服的故事。
原文链接：
https://www.technologyreview.com/2026/10/02/1145639/dont-be-fooled-llms-dont-reason/
