刷屏的OpenAI LLM依然不能布局 o1远未到达饱和

布局执行打算以成功所需形态的才干不时被以为是默认体的外围才干。随着大型言语模型（LLM）的发生，人们对 LLM 能否具有这种布局才干发生了极大的兴味。

最近，OpenAI 颁布了 o1 模型，一举发明了很多历史记载。o1 模型领有真正的通用推理才干。在一系列高难基准测试中展现出了超强实力，相比 GPT-4o 有渺小优化，让大模型的下限从「没法看」间接回升到低劣水平，不专门训练间接数学奥赛金牌，甚至能在博士级别的迷信识答过程上逾越人类专家。

那么，o1 模型能否具有上述布局才干？

2022 年，来自亚利桑那州立大学（ASU）的钻研团队开发了评价 LLM 布局才干的基准 ——PlanBench。如今，亚利桑那州立大学钻研团队片面扫视了 LLM 在 PlanBench 上的体现，包含 o1 模型。值得留意的是，只管 o1 在基准测试上功能超越了竞争对手，但它还远未到达饱和形态。

关于 vanilla LLM（经过 RLHF 微调的 Transformer 模型）来说，PlanBench 基准依然充溢应战，即使在最便捷的测试集上，模型体现也不佳。

下表为和前一代 LLM 的结果，测试畛域包含 Blocksworld 和 Mystery Blocksworld（混杂版本），其中前者是在 600 个 3 到 5 个 blockBlocksworld疑问静态测试集上运转的结果，后者是在 600 个语义相反但语法混杂的实例（称之为 Mystery Blocksworld）上的运转结果。

在这些模型中，LLaMA 3.1 405B 在惯例 Blocksworld 测试中体现最佳，准确率到达 62.6%。但是模型在 Mystery Blocksworld 的体现却远远落后——没有一个 LLM 在测试集上到达 5%，并且在一个畛域上的功能并不能清楚地预测另一个畛域的功能。

这种结果提醒了 LLM 实质上仍是近似检索系统。

更进一步的，作者测试了人造言语提醒和 PDDL，发现 vanilla 言语模型在前者上的体现更好。

作者还发现，与之前的说法相反，one-shot 提醒并不是对 zero-shot 的严厉改良。这在对 LLaMA 系列模型的测试中最为显著。

值得留意的是，基准测试的原始迭代没有思索效率，由于 vanilla LLM 生成某些输入所破费的期间仅取决于该输入的长度，而与实例的语义内容或难度有关。不过作者也对各个模型的提醒老本启动了比拟，如表格 4 所示。

从近似检索到近似推理：评价 o1

规范自回归 LLM 经过近似检索生成输入，但这些模型面临一个疑问，即在 System 1 义务中体现杰出，但在对布局义务至关关键的相似 System 2 的近似推理才干上体现不佳。

回忆之前的钻研，从 LLM 中失掉牢靠布局才干的最佳方法是将它们与生成测试框架中的外部验证器配对，即所谓的 LLM-Modulo 系统。o1 尝试以不同的形式为底层 LLM 补充相似 System 2 的才干。

据了解，o1 是将底层 LLM（很或者是经过修正的 GPT-4o）联合到 RL 训练的系统中，该系统可指点私有 CoT 推理轨迹的创立、治理和最终选用。但是目前确切的细节很少，因此只能推测其确切机制。

作者猜想 o1 和 LLM 之间有两个关键区别：一个额外的强化学习预训练阶段和一个新的自顺应扩展推理程序。无论如何，从现有细节可以看出，该模型在实质上与以前的 LLM 基本不同。

在原始测试集上评价 LRM：作者在静态 PlanBench 测试集上测试了 o1-preview 和 o1-mini，结果如表 2 所示。其中，600 个 Blocksworld 实例范围从 3 到 5 个 block 不等，须要 2 到 16 个 step 的布局才干处置。

结果显示，o1 正确回答了 97.8% 的这些实例，但在 Mystery Blocksworld 上，o1 没有坚持这种功能，但也远远超越了以前的模型，正确回答了 52.8% 的实例。

规范 LLM CoT 提醒方法很软弱，无法随着疑问规模的扩展而持重地扩展。作者在一组较大的 Blocksworld 疑问上测试了这些模型（见图 3）。此汇合中的疑问长度从 6 到 20 个 block 不等，须要 20 到 40 step 的最佳布局。

作者发现模型功能从之前报告的 97.8% 迅速降低。理想上，在这组实例中，o1-preview 仅成功了 23.63% 的准确率。可以看出只管这些模型总体上令人印象深入，但这标明它们的功能依然远不够持重。

在无法处置实例上的功能：接着作者修正了测试集中的一些实例，结果如表 3 所示。在 Blocksworld 上，只要 27% 的实例被 o1 正确且明白地辨以为无法处置。在一切案例中，有 19% 的模型前往一个点或「empty plan」标志，没有任何解释或批示无法处置。在其他 54% 的案例中，模型生成了一个完整的布局。

在随机 Mystery Blocksworld 上，这些数字更糟：16% 的案例被正确辨以为无法处置，5% 前往了一个「empty plan」，其他 79% 的案例失掉了完整布局的回答。

准确率 / 老本掂量与保障

钻研团队发现：o1-preview 仿佛在每个疑问经常使用的推理 token 数量方面遭到限度。假设 o1 的正式版本消弭了这一限度，或者会提高全体准确性，但也或者造成更无法预测（甚至高得离谱）的推理老本。o1-mini 只管更廉价，但通常功能较差。