Transformer打破三十年数学猜想！Meta钻研者用AI给出反例 算法杀手攻克数学难题

30多年的数学猜想，被AI发现了一个反例？

就在刚刚，Meta、威斯康星大学麦迪逊分校、伍斯特理工学院、悉尼大学的几位学者提出PatternBoost，这种全新的方法可以在一些数学识题中寻觅幽默的结构。

其外围理想是交替启动「部分搜查」和「全局搜查」。

在第一个「部分」阶段，经常使用传统的经典搜查算法来生成许多理想的结构。

在第二个「全局」阶段，经常使用Transformer神经网络对这些最优结构启动训练。然后，将训练好的Transformer样本用作第一个阶段的种子，偏重复该环节。

前者相似于贪心算法，比如给定一个图形，去除包括多个4-圈的边，直到没有4-圈为止。

然后者的一个例子，是让Transformer生成更多相似于上次挑选中表现前1%的图。

这种迭代交替，比传统的贪心方法或许独自的非贪心增强Transformer方法要好得多。

结合Transformers来求解团圆提升疑问的步骤

比起某些疑问，它会更长于处置另一些疑问。因此，这篇论文在许多不同的数学畛域测试了相反的协定。

哪些数学识题最适用于机器学习技术？或许说，最终咱们将证明，一切数学识题都适宜机器学习技术？

这个或许性，真实太令人兴奋了。

PatternBoost不只找到了几个常年疑问的最佳已知处置打算，而且还结构了一个反例，反驳了一个已悬而未决30年的猜想。

比如可以生成网络拓扑中较为经常出现的C4-free浓密图，也就是一幅不存在由4个顶点组成的闭合门路的浓密图。

PatternBoost在多个极值组合学识题中表现优秀，其中一个经典运行是，就是无4-圈疑问。

即在给定顶点数n的状况下，结构尽或许多的边而不包括4-圈的图。

此类疑问对机器学习方法具有应战性，由于其数学结构较为复杂且解的空间庞大。

钻研者是经过以下步骤运行PatternBoost的：首先生成一个初始数据集，并经常使用Transformer模型对其启动训练以生成新样本。

将这些新样本作为部分搜查的终点，经过多轮迭代后，PatternBoost在这个无4-圈疑问上取得了比传统方法更佳的解。

「许多边没有三角形」疑问

如今让咱们来想象这样一个疑问：在一个n个顶点的图中，假设没有任何三个边构成三角形，那么它最多可以有多少条边？

第一步，咱们可以提出一些有许多边，且没有三角形的大批顶点上的图。

然后，咱们会很幸运地留意到，许多示例实践上是二分图。

不难发现，这外面大少数表现最优的图形都是二分图。而这一法令也被称为称为Turán三角定理或Mantel定理。

二分图（Bipartite Graph）是一种不凡类型的图，它的顶点可以被分红两个互不相交的汇合，比如说汇合A和汇合B。

在二分图中，每条边都衔接着汇合A中的一个顶点和汇合B中的一个顶点，也就是说，汇合A中和B中各自都不存在将两个顶点相衔接的边。

但是假设疑问变得愈加困难，要求的结构不只仅只是三角形呢？比如五边形这样更为复杂的结构。这时钻研者就很难再仰仗演绎和直觉去发现其最优结果中包括的法令了。

所以钻研者宿愿有一种通用的方法，可以协助发现或自行逐渐迫近这些结构。

首先，钻研者须要确定部分搜查方法和评分函数。

部分搜查法是一种将或许包括也或许不包括三角形的图形作为输入的算法，并输入一个得分至少与输入得分相反的图形。

由于钻研者想要说明的是部分-全局迭代方法的有效性自身，所以不执着于提升部分搜查函数，而是驳回了很便捷的方法。也就是：

- 当搜查到的图还包括三角形时，就删掉其中的一条边

- 一旦图中曾经没有三角形，则在不创立新三角形的状况下，尽或许多地随机参与新边

评分函数则须要表现出失掉的结构迫近于最优结构的水平。

例如，假设图包括任何三角形，钻研者可以选择给出负无量大的分数，否则前往边的数量。边的数量越大，则分数越高。

须要留意的是，假设图形中有三角形，钻研者也可以从三角形中间接删除任何边，以使分数至少参与1

第一步：创立起始数据库

钻研者的步骤如下：从空图开局，以此为终点运转上述便捷的部分搜查算法(即在不发生三角形的状况下，尽或许常年间地随机参与边)。

他们重复了40,000次，每次都从空图开局，失掉的分数散布如图1所示（由于部分搜查的输入永远不会发生三角形，因此这里的分数只是边的数量）。

大部分图形分数的散布都是一个平滑的散布，峰值为66。然后钻研者保管了该数据集中得分最高的25%；这些图形将作为训练集。

从图1右侧的直方图中可以看到训练集的分数散布。

训练集中的每个图都可以用其邻接矩阵来示意，该矩阵有n²=20²=个条目。

钻研者留意到，邻接矩阵是对称的，而且没有循环，因此可以经常使用矩阵的上三角部分而不是整个矩阵，从而将其缩小到20×19/2 = 190。

钻研者经常使用的Transformer接受一维输入；因此，钻研者可以将上三角矩阵逐行写出，并在每行后加上分隔符(在本例中为逗号)，从而将其扁平化，如图2所示。

在开局训练之前，可以经过Byte-Pair Encoding (BPE) Tokenization来标志化数据以去进一步的数据紧缩。

也就是说，假设钻研者发现字符串「00101」在数据集中发生了很屡次，那么钻研者就引入一个新的字符，比如「2」，来示意这个字符串。

钻研者经常使用的是Makemore，这是Andrej Karpathy的一个便捷的Transformer成功。

他的代码的好处是，它是地下可用的，并且易于修正，并且它提供了一个稳如泰山的基线，因此钻研者可以尝试用更复杂的方法逾越它。

钻研者经常使用了一个庞大的2层Transformer，包括4个头部和16的嵌入维度。

他们训练这个Transformer来生成与初始数据集中的「相似」的序列，方法相似于将一个大型英语句子数据库（即序列中的大少数是单词）给Transformer启动训练，使其能够生成更多的英语句子。

在训练的每一个阶段，都可以让Transformer预测给定的k个token序列之后的下一个token。特意地，关于每一个k和数据集中每个图G（用token序列示意），可以让Transformer在给定前k个token的状况下预测第k+1个token。

「损失」权衡了Transformer未能正确预测G中实践下一个token的频率。经过15,000步的训练后，训练集的损失降到2.07，测试集的损失为2.09。

接上去，钻研者要求Transformer生成在某种「全局」意义上与钻研者迄今为止遇到的最佳图形(即训练集中的图形)相似的新结构。

钻研者以这种方式生成了100,000个tokenized的新图形。在将token序列解码为矩阵(或尝试解码为矩阵)后，钻研者失掉了37,000个矩阵的条目数(190)，这与20个顶点图的邻接矩阵相符。

第四步：从Transformer中取得的新结构中，运转本地搜查

钻研者把从小模型中失掉的37000个有效结构图，从新输入到他们的便捷部分搜查算法中。

也就是说，从这37,000个图形中的每一个中，钻研者首先贪心地删除边以去除一切三角形，然后尽或许常年间地随机参与边而不发生任何新的三角形。

最后，钻研者重复提取上一代中最好的10,000个词组，经常使用之前相反的token对它们启动分词，并在这个新的训练集上微调Transformer。

请留意，每次迭代都不须要从头开局训练。经过再启动5次循环，模型很快学会只生成完整的二分图，而且这些二分图中的大少数都具有相等的两部分大小，见图4。

可以直观地发现，随着迭代的代数参与，分数散布的峰值也逐渐越来越高，从75转移到了最终的满分100，十分间接地证明了部分+全局联结迭代搜查这种流程的有效性。

常年未处置的猜想：d-维超立方体直径为d的生成子图

超立方体（Hypercube）是一种经常出现的网络拓扑结构，其结构为一个具有高对称性的n维立方体，每个顶点与其余一切顶点都间接相连。

在超立方体中，直径是一个关键的概念，它示意从恣意一个顶点到另一个顶点所需的最大步数。

关于并行计算网络，如大规模并行计算机中的处置器网络，超立方体的直径是形容其通讯效率的关键参数，由于它间接影响到网络中的通讯速度和提前。

因此，钻研超立方体的直径以及如何经过扭转其结构来提升直径成为了一个关键的钻研方向。

在论文中提到的常年未处置的疑问是：在不参与其直径的状况下，可以从d-维超立方体中删除的最大边数是多少？

这个疑问最早由Niali Graham和Frank Harary在1992年提出，疑问也可以表述为，怎样结构直径一直是d的d维超立方体的最小生成子图。

关于这个疑问，曾经提出的猜想详细是这样的：

他们观察到，假设固定两个相对的顶点v和v′，并经过为每个顶点u（u不属于{v, v′}）构建一个子图G，其中包括一条通向在d-维立方体中更凑近v的顶点的边和一条通向在d-维立方体中更凑近v′的顶点的边，则生成的子图是全笼罩的且具有直径d。这样的子图至少有 条边，并且可以经过多种方式成功这样的结构。

疑问来了：能否存在一种更好的结构，可以用到更少的边？Graham猜想，这种结构实践上就是最优的。

一个直径为5的5维超立方体的子图，包括40条边。留意，从每个顶点都有一条边向下和一条边向上衔接，即不存在阻塞顶点

关于PatternBoost，有一种人造的方法来建设这个猜想。一个具有跨度并且直径为d的子图的分数可以定义为其中的边数（钻研者试图将其最小化）。

关于部分搜查，最便捷的算法是，给定一个子图G，向G中随机参与边，直到它成为一个具有直径d的跨度图，然后在尽或许长的期间内随机移除边，同时坚持直径为d。

钻研者对d=5和6的状况，启动了实验。

关于d=5，上述结构仿佛是最优的，但关于d=6，钻研者能够找到一个具有81条边的图（而非上述结构中的

这推翻了之前的猜想，并标志着在这个疑问上30年来的初次停顿。

一个幽默的观察是，关于较大的d值，下界或上界哪个更凑近真实状况。

用AI生成纯数学结构

总的来说，在本文中，钻研者引见并举例说明了一种称为PatternBoost的计算方法，用于生成纯数学中幽默的结构。

该方法触及「部分」与「全局」步骤的反绝交替。前者通常是一个便捷的贪心算法，后者则是一种结合Transformer的遗传算法，这是一种灵敏的机器学习技术，钻研者以为其特意适宜处置此类疑问。

为了了解这种迭代或许的样子，可以思考一个群体协作迭代的例子，即自行车的设计。

- 「部分」步骤触及许多单个自行车制作商各自对他们的设计启动一系列精细调整，致力使其尽或许地高效和温馨。

- 「全局」步骤则触及生存谢环球各地的人们，他们看到周围的许多自行车，每一辆都经过精心的部分提升，然后基于他们观察到的自行车进而设计开收回新的自行车设计。

当然，这种新设计随后会由其设计者和其他人精心提升；假设经过这些调整后，新自行车被证明特意温馨和高效，那么它们将被少量开售，并参与下一位潜在设计者观察到的普通自行车队列中……如此循环往返。

数学对象并非自行车。但人类可以形象出自行车的特色，并开收回钻研者认知为自行车的新对象，虽然它们与任何现有实例都不齐全相反，数学家对数学对象也是如此。但是，这个环节通常很难智能化。

钻研者对这里形容的方法的宿愿在于，机器学习的技术（尤其是 Transformer）至少具有某种水平的这种才干——即面对一系列数学实体时，它们可以发生更多在某些方面「同类」的例子，便于相互参照，启动迭代。

钻研者的上班遭到第三作者早期上班的剧烈影响。在那项上班中，强化学习中的交叉熵方法被用来寻觅组合学中几个疑问的反例。

交叉熵方法的疑问在于其裁减性：当序列长度超越几百个Token时，基础神经网络就会变得难以训练。

在AI中，当尝试经常使用基础神经网络对长序列的字母或单词启动下一个Token预测时，也会遇到相似的疑问，而Transformer架构正是在这类疑问上表现杰出。

PatternBoost的关键好处之一，就是其宽泛的适用性。经过参与一个经常使用Transformer的全局步骤来为部分搜查倡导更好的终点，PatternBoost可以改良许多提升疑问的结果。

PatternBoost可以视为搁置在任何部分搜查方法之上的额外层，通常能比独自经常使用部分搜查取得更好的处置打算。

便捷来说，无论钻研者经常使用何种部分搜查算法，PatternBoost 通常都能使其更好。

钻研者强调，钻研者的关键指标是为数学上班者开发一个有用且便捷的工具，该工具不须要深化的机器学习专业常识或经常使用工业级计算才干。

经常使用机器学习作为数学中的适用工具的一个困难在于，机器学习自身很复杂！人们或许会破费少量期间来调整超参数、探求不同的Token化打算等。

在钻研者看来，PatternBoost的一个好处在于其Transformer架构表现得十分具有弹性，通常可以间接经常使用，而不须要数学家启动过多的调整，由于他们的专业和兴味或许在其余畛域。

他们经常使用了Andrej Kaparthy的Makemore提供的一个好看且便捷的Transformer成功，在钻研者的实验中，它仿佛在宽泛的数学背景下都生成了有效的输入。

这里探讨的疑问只是他们在开发PatternBoost时尝试的最后几个疑问——他们宿愿并希冀其余数学家会兴致盎然地进后退一步的实验，从而协助揭开哪些数学识题适宜于机器学习增强方法的这一奥秘面纱。

特意是，本文探讨的例子关键集中在极值组合数学畛域，其中Transformer被用来结构在某些解放条件下尽或许大的组合例子。

当然，组合结构是最容易作为Transformer输入出现的实体；但他们并不以为该方法准则上仅限于数学的这一畛域。

理想上，该方法中没有任何内容是特定于数学的！他们也十分有兴味了解PatternBoost能否可以运行于数学之外的疑问。

显而易见的一个应战是，在数学中，一个被提议的例子通常可以被机械地、牢靠极速地评价，这对PatternBoost至关关键；而在其余畛域，评价或许会比拟困难。

触及到的机器学习技术

模型训练成功后，钻研者会从「空序列」t0 开局生成候选打算，并从训练模型预测的散布中抽取第一个标志t1。

然后，钻研者会向模型输入t0 t1序列，并从预测的散布中采样第二个token t2。如此重复，直到生成完整的处置打算。

这将激励模型生成与其训练数据相似的序列（即钻研者疑问的有宿愿的处置打算）。

为了将数学结构（如网格和图）编码为Transformer可以处置的方式，须要将这些结构转换为token序列，这一环节称为「分词」。

以下是详细的编码方法：

关于网格编码来讲，一个