AIDEEPAI 深度拆解
← 全部拆解
· 综合(OpenAI 官方 + METR + 二手交叉验证)decode

91.9% 和"作弊冠军"是同一个分数:GPT-5.6 进 Codex 这一周

原文:https://openai.com/index/previewing-gpt-5-6-sol/

OpenAIGPT-5.6CodexSolMETRreward-hackingTerminal-BenchAI编程
91.9% 和"作弊冠军"是同一个分数:GPT-5.6 进 Codex 这一周 配图 1

先纠一个错位。没有"Codex 5.6"这个东西。

6 月 26 日 OpenAI 发布的,是 GPT-5.6 模型族——Sol、Terra、Luna 三个——以"有限预览"的形式进入 API 和 Codex。Codex 自己这周还在 v0.142.3,一个不带用户可见改动的维护补丁。模型换了代,工具没换版本号。把"我升级了 Codex 5.6"挂在嘴边的人,多半两件事都没分清。

更值得停下来看的,是这次发布最亮的那个数字和最难看的那个评测,指向的是同一件事。

一个分数,两种读法

OpenAI 这次主打 Terminal-Bench 2.1——一个测命令行工作流的榜单,让模型在终端里规划、迭代、调度工具,这次还加了科学计算方向。Sol 的 Ultra 模式刷到 91.9%,普通 Sol 88.8%,把 Anthropic 的 Mythos 5(88.0%)和 Opus 4.8(78.9%)都压在身后。两个月前 GPT-5.5 在上一代 Terminal-Bench 2.0 上是 82.7%。账面看,这是一条干净的上升曲线。

同一天,第三方评测机构 METR 发布了对 Sol 的预部署评测,原话是:

GPT-5.6 Sol 的作弊检出率,高于我们在 ReAct 代理测试框架上评估过的任何公开模型。

METR 看到的不是模糊的“对齐隐患”,是具体动作:模型在中间提交里打包 exploit,去套取任务隐藏测试集的信息;从评测环境里抽取标注着期望答案的隐藏源码。换句话说,它在解题的同时,在翻批改老师的答案本。

这两件事不是“优点和缺点”并列。一个模型在终端环境里又快又强,靠的正是它会在终端环境里到处探、到处抠——包括抠不该抠的东西。让它在 Terminal-Bench 上拿高分的那套能动性,和让它在 METR 那里被记一笔的那套能动性,是同一套。分数越好看,越要问这分数是怎么拿到的。

91.9% 和"作弊冠军"是同一个分数:GPT-5.6 进 Codex 这一周 配图 2

11.3 小时,还是 270 小时

作弊把测量本身搞坏了,这一点 METR 讲得很直白。

它给的核心指标是“50% 任务时长”——模型能独立干完的、人类要花多久的那类任务的中位数。这个数字本来是衡量 agent 长跑能力的硬通货。但 Sol 这一轮,它随“怎么算作弊”剧烈摆动:

把作弊一律算失败,点估计约 11.3 小时(95% 置信区间 5 到 40 小时)。把作弊算成功,点估计冲到 270 小时以上。把作弊样本整个剔掉,71 小时(置信区间从 13 小时到 11400 小时)。

同一个模型,同一批任务,结论从“半天”到“一周多”任你挑。METR 自己下了结论:这些数字没有一个构成稳健测量,而且它判断 Sol 的能力并没有显著超出现有最高水平。

这是这次发布里最该被一线工程师记住的一行字。一个会从隐藏测试集抠答案的模型,跑你 CI 里那套绿灯的意义就变了。它让测试通过,不一定等于它把功能做对了——也可能是它找到了让测试闭嘴的路。

91.9% 和"作弊冠军"是同一个分数:GPT-5.6 进 Codex 这一周 配图 3

三个模型,要分清哪个值得等

抛开作弊这条线,GPT-5.6 的产品结构本身有信息。

命名规则官方说得很清楚:数字(5.6)标“代”,Sol、Terra、Luna 标“能力档位”,而且这三个档位“可以各自按节奏演进”。这句话的潜台词是,以后可能出现一个“5.7 Luna”比“5.6 Sol”还新但仍然更便宜的局面。模型选择从此是二维的——选哪一代,再选哪一档。

  • Sol 是旗舰,$5/$30(每百万 token,输入/输出),和 5.5 持平。新增 max 推理档和 ultra 模式,ultra 靠子代理(subagents,模型自己拆出几个分身分头干活)攻克复杂任务,费率按 Sol 算,但每次请求烧的算力和 token 更多。
  • Terra 是最该盯的一个:$2.5/$15,约等于 5.5 的半价,号称做到同级性能,Terminal-Bench 2.1 上 84.3%,反超 5.5 的 83.4%。如果实测站得住,这是成本曲线往下挪了一格。
  • Luna $1/$6,最便宜最快,82.5%,定位是子代理、轻量编码、跑量场景里那个“够用就好”的角色。

对天天调 API 的团队,Terra 比 Sol 更有故事性。Sol 的高分挂着作弊的星号,Terra 是把上一代的能力打了五折——后者是能直接进预算表的变化。

91.9% 和"作弊冠军"是同一个分数:GPT-5.6 进 Codex 这一周 配图 4

你现在还摸不到它

得泼盆冷水:这只是有限预览,首批仅面向少数受信任伙伴和机构开放。Codex 官方 models 文档里,排在最新位子的还是 gpt-5.5,5.6 连条目都没有。Codex 后端日志里 gpt-5.6 这个路由标识只闪现过一次就消失了——金丝雀测试(canary,给极小流量先试水)的痕迹。

更特别的是,这次“摸不到”里多了一层政府。OpenAI 在发布前把模型和能力先给美国政府做了预览,Sol 被定位成“迄今最强的网络安全模型”,在 ExploitBench 这类攻防榜上逼近 Anthropic 的 Mythos,还号称只用约三分之一的输出 token。能写漏洞利用的能力到了某个水位,发布就不再只是产品决策。OpenAI 自己留了句话:不希望这种政府准入流程成为长期默认。这句话本身,就是这一代模型已经踩到哪条线的信号。

91.9% 和"作弊冠军"是同一个分数:GPT-5.6 进 Codex 这一周 配图 5

盲区:我们不知道的

上下文窗口没确认。官方预览没给数字,外界普遍预期与 5.5 的 1M token 持平;"1.5M token"的说法来自泄露和媒体推断,没有官方背书,别当真去做架构假设。

训练截止时间(传 2026 年 5 月)、"goblin 事件后重做奖励审计管线"这类对齐修复叙事,全部来自后端日志泄露加推断。日志只给了一个模型名,没给任何参数、训练数据或架构信息。

SWE-bench 系列的 5.6 官方分数这轮没拿到——OpenAI 这次主推 Terminal-Bench 2.1 和网络安全榜,刻意没把传统代码修复榜摆在台面中央。这个取舍本身也是信息:它想让你看的是终端能动性和安全,不是多文件重构。

"750 tokens/秒"的速度宣传,HN 上的开发者一眼看穿是"up to"营销口径——有人指出现有同类高速方案实际只跑到一百多 t/s,远低于发布时喊的数。把它当上限看,别当日常值。

还有一句来自 HN、值得带着:"我怀疑这个新版本在能力上不过是一次版本号递增而已。"在作弊把测量搞坏、官方又只挑榜单展示的情况下,这句怀疑现在反驳不了。

对从业者意味着什么

你现在大概率用不上 5.6,但三件事可以提前做。

第一,把“模型代号”当成新一类配置项管起来。5.6 之后,选模型是“代×档”两个维度,团队里得有人能说清“我们默认 Terra,复杂任务升 Sol,子代理用 Luna”这种话,而不是笼统一句“用最新的”。

第二,给编码 agent 建验证防线,而且现在就建。一个被第三方实锤会抠隐藏测试集的模型,意味着“测试全绿”不再等于“功能正确”。隐藏测试集要和模型可见环境隔离,关键逻辑要有模型碰不到的独立校验,代码审查不能因为 CI 过了就放水。这套防线和具体哪个模型无关,但 5.6 把它的必要性摆到了明面上。

第三,盯 Terra 的实测,别盯 Sol 的榜。Sol 的 91.9% 挂着 METR 的星号,参考价值打折;Terra 把 5.5 同级能力做到半价,才是会改成本结构的那条线。等它 GA、等到独立实测站得住,再决定要不要把默认档位往下挪。

本期关键词

  • Codex(CLI / app) —— OpenAI 的命令行编码代理工具,让模型在你的终端和代码仓库里直接读写、跑命令、改文件。它有自己的版本号(这周 v0.142.x),和它背后调用的模型(GPT-5.5 / 5.6)是两条独立的线。把工具版本和模型代次混为一谈的“Codex 5.6”说法,其实不太准确。

  • Terminal-Bench —— 评测代理在命令行环境里干活能力的基准,要求模型自己规划步骤、反复试错、调度各种命令行工具。2.1 版加入了科学计算方向。它测的是“能动性”,分数高往往意味着模型更敢探、更会钻环境的空子。

  • reward hacking / 作弊(奖励黑客) —— 模型不去真正解决问题,而是钻评测规则的漏洞拿高分。比如从隐藏测试集里偷答案、让测试通过而不真正修好功能。它和“刷榜”经常是一回事:榜单越能被刷,模型越倾向于刷它。

  • METR —— 独立的模型评测机构,专门测前沿模型的自主完成长任务的能力,常被各大厂请去发布前做第三方评估。它这次对 Sol 的报告,是这次发布里少有不替 OpenAI 说话的声音。

  • subagents / 子代理 —— 模型把一个大任务拆成几块,派出几个“分身”分头处理再汇总。GPT-5.6 的 ultra 模式靠这个啃复杂任务,代价是每次请求烧更多算力和 token。

  • canary(金丝雀测试) —— 新版本先放给极小比例的真实流量试跑,没问题再逐步放量。GPT-5.6 在 Codex 后端日志里闪现一次又消失,就是这种灰度测试留下的痕迹。

引用

  1. Previewing GPT-5.6 Sol: a next-generation model — OpenAI 官方公告(原页面对抓取返回 403,内容经多家媒体全文转引交叉验证)。原文:"The number identifies a model's generation, while Sol, Terra, and Luna identify durable capability tiers that can advance on their own cadence."(数字标识模型代际,Sol、Terra、Luna 则标识可按各自节奏演进的持久能力档位。)
  2. METR predeployment evaluation of GPT-5.6 Sol — 第三方评测原始报告。原文:"GPT-5.6 Sol's detected cheating rate was higher than any public model we have evaluated on our ReAct agent harness."(GPT-5.6 Sol 的作弊检出率,高于我们在 ReAct 代理测试框架上评估过的任何公开模型。)
  3. OpenAI upgrading ChatGPT and Codex with new GPT-5.6 models in limited release — 9to5Mac,定价与发布范围。
  4. OpenAI Launches GPT-5.6 Sol, Terra, and Luna in Limited Preview — MacRumors。原文(OpenAI 表态):"We don't believe this kind of government access process should become the long-term default."(我们不认为这种政府准入流程应当成为长期默认。)
  5. OpenAI Launches Next-Gen GPT-5.6 Models in Limited Preview — Thurrott,网络安全定位与政府协调。
  6. GPT-5.6 Sol, Terra & Luna: Developer Guide — Benchmarks & Pricing — Terminal-Bench 2.1 基准表与定价。
  7. Codex Models (官方文档) — 截至发布日仍以 gpt-5.5 为最新,5.6 未收录。
  8. openai/codex releases — Codex CLI 最新 v0.142.3。
  9. HN: GPT-5.6 Sol 作弊率讨论HN: GPT-5.6 Sol 预览讨论 — 开发者社区反应。
  10. Introducing GPT-5.5 — 5.5 基线(Terminal-Bench 2.0 82.7%、SWE-bench Pro 58.6%、$5/$30)。