GPT-6 Astra幻觉率改了又改：我们该怎样相信AI跑分？

本文为「术语解构」系列。数据核对时间：2026年9月9日，以OpenAI发布页、系统卡和ARC Prize页面当前显示为准；这些数字在本文写作期间仍可能变动。

同一项指标，改了又改

4.2%，改成2%，又改回4.2%。

9月3日OpenAI发布GPT-6 Astra，发布页评测表的“对齐”分区里有一行叫“内部幻觉基准”，Astra是4.2%，上一代GPT-5.6 Sol是12.2%，越低越好。据《财富》9月4日的报道，这行数字在发布后的不同页面版本中经历了上面那一轮变化。同一篇报道还列出了其他几处改动，有的把Astra的分数调高，有的把对手的分数调低，也有改完又改回去的。

看到这种修改，很难不怀疑：分数到底是测出来的，还是挑出来的？

上一篇《GPT-6 Astra单价是上代的2.5倍，AI越强，为什么账单也跟着涨？》算的是每件合格工作的成本：单价变为原来的2.5倍，整件工作的费用仍取决于各类计费用量和人工返工。任务轮数不能直接代替token用量；即使计费用量恰好减半，按同一费率倍率计算，模型费也仍是原来的1.25倍。那个算法有个前提，你得先知道它把工作做得有多好。现在连用来证明能力的成绩都在变，这笔账就得往前多查一步。

截至2026年9月9日，公开材料足以支持对评测透明度的质疑，但不足以把这次事件定性为跑分造假。历史修改序列来自媒体报道，本文没有独立比对网页存档。官方已经给出部分解释，具体修改是否由这些因素造成，仍要逐项核对。

一、数字究竟改了什么

9月3日发布页上线，据报道比原计划晚了一些；9月4日《财富》刊出报道；9月6日，IT之家跟进转述。本文按9月9日可查的资料核对，分别保留媒体报道时的数值和当前页面显示值。

报道涉及的改动有这么几处，按“媒体报道的版本”和“页面当前显示”两栏对照：

最后一行要单独说一句。IT之家转述《财富》的说法是这项分数从87.8%降到78%，又恢复到83%，但9月9日打开页面看到的是87.8%。可能页面又改了一次，也可能转述有出入，因为没有历史快照可以比对，只能把冲突原样放在这里。

Terminal-Bench的变化是0.2个百分点。没有样本量、重复运行结果和适当的统计比较，不能断言这点差异具有统计显著性，也不能断言它完全属于噪声。仅凭替换成更高数字这个动作，同样无法证明发生了反复重跑后挑选最好成绩。

OpenAI对媒体的解释是，模型检查点、测试框架和评测运行会影响结果，修改旨在更准确地反映可用模型的表现。这是一般性解释，还需要对应到每项修改：究竟改了哪个条件，为什么新值更合适。

据媒体转述，提出批评的包括斯坦福的Anka Reuel和Mike Hardy。他们的判断是，反复调整测试条件、重新运行评测来抬高分数，在行业里有个名字叫Benchmaxxing，这类操作可以很快完成，对营销有利。但两人批评最具体的一点其实不是“改分”，而是系统卡对内部幻觉评测几乎没有提供方法细节，连测试项目的数量都没有列出。

这个批评的范围要说准。通过翻看系统卡，“幻觉”一章确实有内容：评测用的是脱敏后的ChatGPT对话，这些对话曾被旧模型的用户标记为包含事实错误；统计两个指标，一是回答里有没有出现任何错误，二是有没有重现用户标记过的那个错误。系统卡还特意提醒，这类样本本来就容易诱发幻觉，绝对错误率会远高于生产环境，不能当作日常使用时的幻觉率。

所以“系统卡完全没讲方法”说过头了。但它讲的和读者需要的之间还有一段距离：样本有多少条，谁来判定一句话算不算错，跑了几次，以及发布页上那个4.2%到底对应系统卡里的哪个指标，当前所查材料不足以完整回答这些问题。最后一条尤其要小心，不能把系统卡里的某项事实性评测和发布页的4.2%直接画等号，发布页表格将该项标为“内部幻觉基准”。

二、术语解构：一个分数受几个条件控制

先看幻觉率这个百分比本身。它看起来简单，分母却有很多种可能。

假设一份回答包含十条事实，其中一条错了。按事实条目算，错误占十分之一；按整份回答是否包含错误算，这份回答就属于有错的回答。两种统计都成立，回答的却是不同的问题。系统卡里的第一个指标就是后一种，回答级别的错误率，而不是事实级别的。同一批回答，换一种分母，数字可以差好几倍。

测试材料也决定结果。随手抽的日常对话，和专门收集的、旧模型答错过的问题，题目分布与难度可能明显不同。能不能联网、允不允许查资料、遇到不确定的问题能不能拒答，都要交代。

所以，一个百分比要有用，至少得让人知道三件事：测了谁、用什么题、怎么算错。

再看模型的运行方式。以下运行条件主要依据OpenAI发布页评测表下方那行说明和十几条脚注，以及ARC Prize自己公布的测试记录。这些说明能帮助解释部分分数，但披露程度因评测而异。

评测表底部的说明大意是：所有分数取任意推理投入下的最高值；GPT系列的评测在研究环境或API中运行，因为系统提示、可用工具等差异，输出可能和正式版ChatGPT略有不同。

把这句话和脚注拆开，一个分数背后至少有六个旋钮。

推理投入。 “取任意推理投入下的最高值”，表示报告的是所测试推理档位中的最高得分，并没有交代每档运行了多少次。最高得分也未必来自最高投入档位。你日常用的档位，未必是拿分的那个档位。

Harness。 上一篇讲过这个词，模型外面那层组织上下文、工具和执行循环的框架，当时讲的是它怎么影响费用。现在能看到，它也决定模型能发挥出多少能力。

ARC-AGI-3这一项是最好的例子，因为评测方ARC Prize把整张表公开了。他们用两套harness测Astra：标准harness对所有厂商一视同仁，模型自己决定把哪些笔记带到下一步；厂商适配harness允许在请求之间保留OpenAI那套不透明的推理状态，并用压缩管理长对话。两套harness分别报告了六个推理档位在ARC-AGI-3半私有测试集上的成绩：

发布页上的99.9%是右列high那格，脚注1说用的是Responses API harness，“改动了两项设置”。ARC Prize把这两个数并排放着：标准harness下的最好成绩62.7%，适配harness下99.9%。两者都是该评测发布时各自配置下的领先结果，不能脱离配置直接比较模型能力。

这张表可以支持同一模型在不同配置下得分不同的判断，却不能据此反推出发布页的改分过程。媒体报道中的99.99%与评测方当前公布的99.9%也有出入，本文采用评测方当前结果，不为历史修改补写原因。

使用厂商适配harness本身不构成作弊。ARC Prize在两套框架都解出的167个游戏与推理档位配对上，汇总公共及半私有测试记录，发现适配框架耗时和总token用量更少。这反映了该测试中模型与配套上下文管理功能共同工作的表现。两种测法回答两个问题：统一框架便于跨厂商比较，适配框架观察配套功能支持下的表现，仍不等于聊天产品中的日常体验。问题出在传播环节，配置说明容易被删掉，最高分容易被留下，读者最后看到的只剩“Astra得了99.9%”，然后以为自己打开聊天窗口就能拿到这个能力。

运行环境。 脚注2说，表里的GPT-5.6 Sol指API、Codex和ChatGPT Work里的版本，ChatGPT聊天里的Sol“略有不同”。因此比较前要确认具体产品和版本。上一篇已经区分API费用与订阅体验，这里进一步补充：同一个型号名称，还需要连同运行环境一起记录。

轮数和时限。 脚注13说ExploitGym去掉了6小时限制，理由是两个模型都够快。脚注14更直接：Sol在“ExploitBench（2026年6–8月）”子集上的5.5%受到300轮上限影响，官方称真实客户使用max时没有这项限制，在相近设置、受到更少限制时得到了11.5%。这解释了当前脚注中的两个值，但不能单凭当前脚注还原每次历史修改的原因。所以媒体说的“5.5%上调到11.5%”改的是这个新建子集，不是ExploitBench主榜，主榜上Astra是100%，Sol是78.5%。两者混在一起讲就错了。

对手的配置和版本。 脚注3说OSWorld上Claude的分数用官方设置，没有采用Anthropic系统卡里修改过的任务和评分；脚注5说BenchCAD上Claude的分数反映了三处修改；脚注17说，ScreenSpot-Pro和ExploitGym上标为“Fable”的分数其实来自Mythos，安全措施更少的那个版本。系统卡开头还有一句：旧模型的对比数值可能来自后来更新的版本，和当初发布时公布的不一样。每一条都有理由，但每一条都意味着，表里同一行的两个数字未必是在相同条件下得到的。

题目数量和评分规则。 部分评测披露了前述运行条件，但不能把其他项目的脚注直接套到幻觉评测上。对于发布页的4.2%，当前材料不足以确认完整的样本、评分、重复运行和配置对应关系。

FaithBench提供了一个相关提醒：评分器本身也需要验证。这项研究针对摘要任务，特意收集让检测器产生分歧的挑战样本，论文中的多数检测方法准确率接近50%。这是特定数据集上的分类结果，不表示每次判断只有一半把握，也不能用来解释Astra的幻觉率为什么变化。它支持的结论是，报告模型错误率时，应同时说明评分方法及其验证情况。

有了六个旋钮，再来说Benchmaxxing这个词。它通常指围绕基准测试反复优化，尽可能把成绩推高。但优化测试系统、选择性披露和直接造假是三件事，得分开判断。

修一个工具故障，让模型读到本来就该读到的输入，这是合理的工程改进。调整推理预算、放宽轮数上限，也有研究价值，前提是条件和代价写清楚。另一种做法更容易误导：同一套配置反复跑，只公布最漂亮的一次，却让读者以为这是稳定表现。

用一个纯粹假设的算例看。某模型连续跑五次，得分78、80、79、83、80，平均80，最高83。只公布83，这个数字不算凭空编造，但它抹掉了波动，也藏起了选择过程。这组数字只是算例，不是Astra的测试记录。它说明审查成绩时，除了问“数字真不真”，还得问“为什么挑这个数字”。

这些是评测需要防范的问题，不能倒过来当作OpenAI已经这么干的证据。对于4.2%和2%的变化，合理的追问是：换了模型版本，换了样本，换了评分方法，还是同一设置下重新跑了一次？每一种原因，对读者理解模型能力的影响都不同。

再看4.2%→2%→4.2%，问题就变了。缺少完整测试条件时，4.2%和2%的差别不能直接换算成日常使用中的改善幅度。即使数字从未修改，读者也需要知道它适用于哪些任务和配置。

这个号此前讨论算力和上下文窗口时，也遇到过类似的阅读困难：标称能力需要结合测试条件理解。具体任务会获得什么结果，仍要在自己的配置和材料上验证。

三、该据什么决定升不升级

上一篇引用了发布页上的两项官方数据，AutomationBench从18.1%到41.4%，BrowseComp从90.4%到91.5%。写这篇时我回去重核了一遍，9月9日页面显示值与上一篇引用一致。上一篇已提醒不能把官方跑分直接换算成业务成功率，这里进一步落实到验证方法：每任务成本能不能省下来，取决于成绩单里的任务和你的任务是不是一回事。

所以升级前，与其盯着表格，不如问自己四个问题。

第一，你的任务类型有没有对应的公开评测。发布页排得密密麻麻的几十项，绝大多数是编程、终端、计算机操作、数学和网络安全。如果你的主要用途是写中文长文、整理会议纪要、做客服问答，需要寻找更直接的任务证据，不能把其他领域的高分当成这些工作的质量保证。

第二，你能不能拿到相同的推理档位和工具。成绩来自特定的推理档位，你的产品权限和预算是否支持相应配置？ARC-AGI-3的99.9%是适配harness跑的，自己的Agent是否具备相同的上下文管理能力，需要确认，不能把62.7%和99.9%当成业务成功率的上下界。

第三，差异能否稳定复现。Terminal-Bench上57.9%对37.3%，与BrowseComp上91.5%对90.4%，只是两项测试各自的点估计。分差大小能帮助安排后续验证的优先级，但都需要检查配置、样本和重复运行结果。改变检查点、工具或推理档位属于测试条件变化，不能全部归为随机噪声。

第四，人工复核的耗时和漏检风险有没有记录。不同跑分可能衡量完成率、部分得分或错误率，并不都是独立完成任务的比例。即使输出要经过人工检查，模型错误的数量和严重程度仍会影响返工及最终质量。有人复核和无人值守的流程，都需要自己的任务数据来判断。

上一篇建议挑20到30个有代表性的任务，记录合格情况、完整费用和人工返工时间。这篇补一步：在看模型输出之前，先把合格标准写下来。

这一步不能省，因为合格标准一旦等看完答案再定，就容易被模型的表达牵着走。写得漂亮，标准不知不觉就松了。

标准要落到具体动作上。整理会议纪要，合格不能只是语言流畅，还包括有没有漏掉决议、有没有把讨论中的建议写成已经确定的安排。修改代码，除了测试通过，还要看有没有改变未被要求修改的行为。写研究摘要，要核对引用是否存在、来源是否真的支持正文里的判断。

比较的时候，还可以把用途分开：想比较模型在现有工作流里的替换效果，就尽量保持工具、材料和时间预算一致；想比较各家产品能提供的最佳体验，就允许各自的配套功能，同时记录配置、费用和等待时间。两种测法都能帮助决策，但别混成一张没有条件的排名表。二三十个任务够做初步筛选，撑不起一个精确到小数点后一位的通用幻觉率。

写在最后

“最优条件下测试”这件事本身不是作弊。条件披露能帮助读者判断适用范围，但不同设置下的分数通常没有简单的换算公式。

真正的问题是四件事：条件有没有披露、比较是否公平、用户能否获得相同的配置、改分有没有可追溯的解释。

GPT-6 Astra发布页对部分评测提供了脚注，ARC Prize也公开了不同配置的结果，这些信息值得保留。对于历史改分，还需要原值、新值、修改时间和具体原因，才能判断调整影响了哪些结论。对于内部幻觉指标，现有材料不足以确认完整测试条件和可复现性；信息缺失也不能直接证明比较不公平。

下次看到一个让人心动的高分，可以先找它旁边的模型版本、推理档位、工具框架、尝试次数、评分方式和测试日期。披露的价值在于信息是否具体、可追溯，能否支撑复现，而不在于脚注长短。

Astra的4.2%可以更正，也可以重新测。我们需要的是能跟着数字一起查到的解释，以及在相同条件下再测一次的办法。

参考资料与核对范围

• OpenAI：GPT-6 Astra发布页，当前评测表及脚注，核对日期2026年9月9日。
• GPT-6 Astra系统卡，模型版本说明及第7.1节事实性评测。
• ARC Prize：Astra在ARC-AGI-3上的测试，两套框架、六个推理档位与对应成绩。
• FaithBench论文，摘要幻觉检测的任务与样本范围。
• Fortune：Astra发布后的评测数字修改，2026年9月4日。
• IT之家报道的新浪转载，2026年9月6日。

历史改分序列及学者评论依据媒体报道，本文没有独立比对历史网页快照，也未取得学者原始发言。当前页面值与历史报道不同，不自动说明哪一方有误。ARC-AGI-3当前结果采用评测方的99.9%，不将媒体所述99.99%解释为已验证的额外精度。发布页内部幻觉指标与系统卡第7.1节的具体对应关系仍未确认。