本文是术语解构系列文章。
2023 年，一组研究人员测试了 GPT-4。
他们问：“汤姆·克鲁斯的母亲是谁？”模型答出了 Mary Lee Pfeiffer。
换一个对话窗口，再问：“Mary Lee Pfeiffer 的儿子是谁？”模型却没能答出汤姆·克鲁斯。
同一条亲属关系，正着问会，反着问不会。
这不是研究者偶然截到的一次翻车。在一组包含 1000 位名人的测试中，GPT-4 回答“某位名人的父母是谁”时，正确率达到 79%；换成父母的名字，反过来问“他或她的孩子是谁”，成功率降到 33%。后一个数字还是在每道题可以尝试 10 次、答对一次就算成功的宽松标准下得到的。
这个结果很容易让人得出结论：大模型根本不懂亲属关系，不过是在顺着常见词语往下接。
另一项实验却展示了不同的一面。一个只有约 2500 万参数的小型 GPT，只接受“预测下一步棋”的训练，内部逐渐形成了一个可以被读出、也能影响落子判断的黑白棋棋盘。
一个实验暴露了知识调用的单向性，一个实验发现了结构化的内部表征。它们并不互相否定，而是拼出了一幅更接近现实的图景：预测下一个 token 可能逼出某种理解，但这种理解并不完整，也不等同于人类的理解。
“预测”和“理解”不在同一个层面
“大模型是在理解语言，还是在预测下一个 token？”这个问题把两件不同层面的事放在了一起。
预测下一个 token，描述的是模型接受了什么训练，又怎样逐步生成文本。给定前文后，模型计算接下来不同 token 出现的概率，再选择其中一个继续生成。这里的 token 可能是一个字、一个词，也可能只是词的一部分。
理解则可以指几种不同的东西。它可能指模型能否解释、区分、迁移和运用一个概念，也可能指模型内部是否形成了与概念和关系对应的结构。再往前走一步，“理解”还可能包含人的身体经验、自我意识和主观感受。
这三个问题不能靠一句“它只是在预测”一起回答。
考试可以帮助说明其中的区别。考高分是目标，学生可能真的掌握了知识，也可能只背过题库。只看分数，不容易区分两者；检查他能否换一种方式解释、能否解决新题，再观察他怎样组织知识，证据会更充分。
语言模型面对的预测任务同样有简单和复杂之分。“今天天气真……”后面接“好”，记住常见搭配就可能答对。若要补全一部侦探小说最后的“凶手是……”，模型需要处理人物关系、动机、时间线和前文线索。最终输出依然是几个 token，完成预测所需的内部计算已经复杂得多。
预测不自动等于理解，也不自动排除理解。关键要看模型为了完成预测，学到了什么。
预测棋步时，模型内部出现了棋盘
黑白棋实验适合回答一个具体问题：只从序列中预测下一步，模型会不会学到序列背后没有直接写出的状态？
2023 年，Kenneth Li 等人在 ICLR 发表了 Othello-GPT 研究。研究人员用大量黑白棋对局记录训练一个小型 GPT。模型看到的只有落子序列，比如 E3、D3、C4。它没有收到棋盘图片、格子相邻关系或黑白棋规则说明，训练任务只有一个，预测下一步可能落在哪里。
训练后，模型预测非法落子的错误率降到很低。研究人员又删掉一种开局对应的训练数据，再用这部分棋局测试，模型依然能够较好地预测合法落子。这个结果说明，简单背下训练棋谱不足以解释模型的表现。
更关键的证据来自模型内部。
研究人员在中间层激活上训练了一个小分类器，也就是“探针”，尝试读出棋盘每个位置当前是黑子、白子还是空格。探针能够以很低的错误率还原棋盘状态。后续研究换用“我方棋子、对方棋子、空格”这套坐标后，还发现相关信息可以被线性读取。
能读出棋盘，只能证明内部包含相关信息。它有没有真的参与下一步预测，还需要因果证据。
研究人员随后直接修改模型内部对某个格子的表示，相当于在它的“脑内棋盘”上翻转一枚棋子。修改后，模型预测的合法落子也随之变化，而且变化方向符合新棋盘的规则。这表明棋盘状态不只是被动留在激活中的痕迹，它参与了模型的计算。
这个实验足以反驳一种过于简单的说法：序列预测只能记住表面搭配，不可能形成隐藏状态的内部表示。
它的边界也很清楚。黑白棋是封闭的合成环境，棋盘固定、规则稳定、合法状态可以精确计算。自然语言连接的是一个开放、含混且不断变化的世界。文本里既有事实，也有错误、隐喻和偏见。从一个棋盘状态表征，不能直接推出通用语言模型已经建立了完整的现实世界模型。
黑白棋实验说明这种内部结构可以出现。它没有证明这种结构在所有语言任务中都会出现，也没有证明模型因此拥有意识。
模型学到关系，却不一定能反过来调用
逆转诅咒展示的是另一种限制。
名人问答无法直接证明问题出在训练，因为研究者不知道 GPT-4 的预训练数据究竟怎样描述过这些人物。论文的核心实验因此使用了完全虚构的人名和作品。
研究人员微调 GPT-3 和 Llama-1，让模型学习这样的事实：
Uriah Hawthorne 是《Abyssal Melodies》的作曲者。
训练后，模型可以根据 Uriah Hawthorne 说出他的身份。研究人员换一个方向提问：“谁创作了《Abyssal Melodies》？”模型的准确率却接近于零，给正确名字的概率也没有显著高于随机名字。
论文测试了不同模型、参数规模、训练设置和改写方式，还在训练集中加入了一些双向表达作为示范。这些尝试都没有让模型把新学到的单向事实自动推广到反方向。《逆转诅咒》原论文将它概括为自回归语言模型的一种方向性泛化失败。
这里需要保留两个限定。
一方面，如果“A 是 B”直接出现在当前上下文里，模型通常可以推导出“B 是 A”。逆转诅咒关注的是模型从训练中吸收一个事实后，能否在没有原句提示的情况下反向调用，不代表模型在所有场景下都无法处理对称关系。
另一方面，这项实验观察到了知识学习和提取的方向性，却没有完全揭示知识在参数中的存储格式。把它形容成“单行道”很直观，但仍然是一种比喻，不能据此断言模型内部只有一条简单的条件概率连线。
后续的反向训练研究通过改变训练文本的方向缓解了这个问题，也进一步说明训练方式会影响关系能否被双向调用。反向训练研究提供了一种改进办法，并没有把所有自回归模型永久判定为只能单向记忆。
两个实验讲的是同一件事
Othello-GPT 和逆转诅咒研究的任务不同，很难被摆成一场“理解”和“不理解”的对决。
黑白棋实验告诉我们，预测任务可能促使模型形成结构化、可干预的内部表征。逆转诅咒告诉我们，模型学到的信息仍可能受表达顺序和训练方向影响，无法像人期待的那样稳定调用。
它们共同反对两个极端判断。
“大模型只是概率鹦鹉”忽略了模型能够抽象、迁移并形成内部结构。概率学习不是对能力的否定，复杂的统计学习完全可能产生有功能的概念表示。
“大模型已经像人一样真正理解”也缺少证据。内部存在棋盘或关系表征，不代表模型能在所有形式、所有场景中稳定运用，更不代表它拥有人的身体经验、持续生活和主观感受。
为了避免把这些问题混在一起，可以把“理解”分成三个层次。
生成机制：它怎样说出下一句话
大模型通过预测下一个 token 逐步生成文本。这是明确的技术事实，却只说明输出怎样产生。
功能性理解：它能不能解释和运用
如果模型能识别关系、换一种方式解释概念、把规则迁移到新任务，并且内部存在支持这些行为的表征，我们可以谨慎地说，它表现出某种功能性理解。
这种理解不是全有或全无。模型可能理解句法，却误判现实条件；能解释一个概念，换一种呈现形式后又失败；能完成局部推理，却无法长期保持一致。逆转诅咒就是这类不完整性的一个例子。
主观理解：它是否知道自己懂了
人知道“烫”，不仅因为见过这个字。热水带来的疼痛、缩手的动作、对危险的记忆，都参与了这个概念。大模型可以描述烫伤，也可以安慰受伤的人，目前没有可靠证据表明它像人一样经历疼痛。
探针和内部干预可以告诉我们模型有没有形成某种表征，以及这种表征是否参与计算。它们无法直接测出模型是否拥有意识、自我或主观体验。塞尔的“中文房间”因此没有被工程工具彻底解决，只是其中关于内部计算的一部分开始能够被测量。
流畅不能证明意识，失误也不能证明毫无理解
大模型很容易诱发两种错觉。
它写出流畅、体贴、像是深思熟虑的回答时，我们会把语言表现自动解释成内心体验。它在一个简单关系上出错时，我们又会觉得前面的能力全是伪装。
判断功能性理解，需要比“说得像不像人”更强的证据。换一种措辞还能不能答对，放到陌生任务中能不能迁移，改变内部状态会不会因果性地改变行为，这些测试比一段漂亮对话更可靠。
至于主观体验，目前没有一种公认方法可以只根据模型输出确认它。把功能性理解和意识分开，不会削弱黑白棋实验的意义，也不会掩盖逆转诅咒暴露的问题。
回到最初的问题
大模型是在理解语言，还是在预测下一个 token？
它确实通过预测下一个 token 学习和生成。复杂预测有时会促使模型形成概念、关系和任务状态的内部表征，并用这些表征完成解释、迁移和推理。这可以被称为一种有限的功能性理解。
它的理解方式与人不同，也远没有人的理解稳定。模型缺少人的身体经验和连续生活，学到的关系可能受表达顺序影响，内部表征也可能在新场景中突然失灵。流畅语言不足以证明它拥有意识。
听到“大模型只是在预测下一个 token”时，最需要警惕的是那个“只”。预测描述了模型从哪里出发，没有替我们回答它最终学到了什么。
更有价值的问题是：它形成了什么结构，这些结构支持哪些能力，又会在什么条件下失效。
你更关心大模型的哪一种“理解”：能不能正确完成任务，内部有没有形成概念，还是它有没有主观体验？
参考资料
- Kenneth Li, Aspen K. Hopkins, David Bau, Fernanda Viégas, Hanspeter Pfister, Martin Wattenberg. Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task. ICLR 2023.
- Neel Nanda, Andrew Lee, Martin Wattenberg. Emergent Linear Representations in World Models of Self-Supervised Sequence Models. 2023.
- Lukas Berglund, Meg Tong, Max Kaufmann, Mikita Balesni, Asa Cooper Stickland, Tomasz Korbak, Owain Evans. The Reversal Curse: LLMs trained on “A is B” fail to learn “B is A”. ICLR 2024.
- Olga Golovneva, Zeyuan Allen-Zhu, Jason Weston, Sainbayar Sukhbaatar. Reverse Training to Nurse the Reversal Curse. EMNLP 2024.
- John Searle. Minds, Brains, and Programs. Behavioral and Brain Sciences, 1980.