Jev取消排队:所谓“零幻觉”,究竟消掉了哪一种错误?
9 月 21 日,Jev 取消等待名单并向所有人开放,新账号赠送 5 美元额度,约合 1.19 亿输入 token。讨论也从“它是什么”转向“怎么接进生产”。可在把业务判断交给它之前,还有一个问题得先讲清楚:Jev 所谓的“不会幻觉”,究竟消掉了哪一种错误? 「术语解构」系列·后篇 Jev 全员开放当天,网络上流传的截图显示,部分登录请求返回 400 和 oauth_state_mismatch。从错误类型看,问题发生在鉴权流程附近,不属于 Jev 的模型推理错误。TypeSafe 尚未发布相关事故说明,目前无法确认影响范围和具体责任环节。 这件事倒是提醒了一个容易被忽略的事实——可靠是整条链路的属性。即使模型永远不会输出非法结果,前面的登录、后面的执行、旁边的重试仍然可能出错。模型自己这一环,也没有“零幻觉”三个字听上去那么稳。 放开的速度本身也值得记一笔。TypeSafe 称,Jev 上线后的 36 小时内处理了约 14 万个注册,6 天后取消等待名单,任何人都能直接注册。新账号赠送 5 美元额度,按当前每百万输入 token 0.042 美元计算,大约对应 1.19 亿输入 token。 上一篇介绍 Jev 时,讨论中出现频率最高的是“零幻觉”和“快数百倍”。现在热度还没退,话题已经变成如何把它接进真实系统。 这些标签里,最容易被误解的是“不会幻觉”。它很容易让人联想到一个不会胡说、判断可靠的模型。Jev 真正保证的范围要窄得多:它不会生成预定义类型之外的结果,却仍可能在合法答案里选错。 这一区别决定了它应该放在系统的什么位置,也决定了哪些业务适合交给它。 67.8%不是错误率,却足以说明它并不总是正确 TypeSafe 公布了一套 Workflow Evals,用四个结构化工作流比较 Jev 和多款前沿模型。 公开评测板显示,Jev 的聚合得分约为 67.8%,同一套评测中表现最高的对比模型约为 74.1%。Jev 没有拿到准确率第一,它的优势主要落在成本和速度上。 这两个百分比需要谨慎理解。评测中的参照答案并非来自人工标注的客观真值,而是取 GPT-6 Astra 和 Fable 5.1 在高推理档位下的预测平均值。TypeSafe 先假定工作流和参照标签成立,再比较各模型与参照结果的接近程度。因此,67.8%不能直接翻译成“Jev 答错了 32.2%”。更准确的说法是: 在 TypeSafe 自己设计的 System One 工作流中,Jev 与两个前沿模型所形成的参考共识仍有明显差距。 ...