AlphaGo外围算法增强 7B模型数学才干直逼GPT

把AlphaGo的外围算法用在大模型上，“高考”效果间接优化了20多分。

在MATH数据集上，甚至让7B模型得分超越了GPT-4。

一项来自阿里的新钻研引发关注：

钻研人员用蒙特卡洛树搜查（MCTS）给大言语模型来了把功能增强， 无需人工标注解题步骤，也能生成高品质数据，有效优化大模型的数学效果 。

论文颁布，让不少网友从新关注到了 蒙特卡洛树搜查 这个在前大模型时代的明星算法。

有人直言：

由于“树搜查自身更凑近人类思想”。

用蒙特卡洛树搜查加弱小模型

详细来说，阿里的钻研人员提出了一种名为的方法，用大言语模型+MCTS来智能生成数学推理数据，并优化大模型在成功数学推理义务时的功能体现。

嗯，名字就很有蒙特卡洛树搜查内味儿了。

这里有个前情提要：

思想链（CoT）、思想程序（PoT）等方法曾经被证实能够有效提矮小模型的数学才干，但疑问在于，它们都 须要人类手动喂详细的解题步骤 ，即训练当中须要用到人工标注的高品质数学推理数据。

AlphaMath的一个外围目标就在于，在这个步骤中去人工化——数据格局就是便捷的数学识题-答案对。

AlphaMath的技术路途重要涵盖三个阶段：

首先，钻研人员搜集了一个数学数据集，其中蕴含数学识题及其对应的正确答案。

而后，应用预训练的大模型（即战略模型）依据疑问生成初始的解题门路，并经过MCTS对解题门路启动探求和改良，搜查更优的解题思绪。

在MCTS环节中，同时训练一个价值模型来预测解题门路的品质，疏导搜查方向。

最后，第二阶段取得的数据会被用来优化战略模型和价值模型。

这三个阶段会经过迭代优化地模式口头，以成功无需人工标注的智能数据生成和模型数学才干优化。

另外，钻研人员还基于价值模型提出了 Step-level Beam Search 方法，以提矮小模型的数学推理效率，平衡推理时的解题品质和运转期间。

便捷来说，Step-level Beam Search是将MCTS推理环节做了个简化：

MATH效果超GPT-4

为了验证AlphaMath的效果，钻研人员设计了这样的试验：

对开源的数学大模型 DeepSeekMath-Base-7B ，用AlphaMath方法启动训练，并在GSM8K、MATH和Gaokao2023基准上，与GPT-4为代表的闭源模型、Llama2为代表的开源模型，以及专门做过数学SFT的MathCoder等模型启动对比。

结果显示，不依赖于人类（或GPT-4）标注的高品质数据，AlphaMath调教下的7B数学大模型，曾经能在MATH上取得63%的分数，超越了GPT-4原版的42.5%和外挂代码解释器版的51.8%。

另外，在口头3轮MCTS并训练战略模型和价值模型的状况下，AlphaMath能让大模型在涵盖小学数学题的GSM8K上优化10多分，在MATH和Gaokao2023上优化20多分。

还可以看到，Step-level Beam Search在MATH数据集上取得了良好的效率和准确率平衡。

论文的独特一作是Guoxin Chen、Mingpeng liao、Chengxi Li和Kai Fan。

通信作者Kai Fan本硕毕业于北京大学，2017年从杜克大学博士毕业，2018年添加阿里巴巴达摩院。

论文地址：​​ ​​ ​

原文链接:​ ​​ ​