钻研打破多智能体协作瓶颈的新算法 谷歌与学术界联手

在人类的协作中，咱们或者会遇到囚徒困境（Social Dilemmas）、喜剧的共有（Tragedy of the Commons）、偏心调配疑问（Public Goods Game）、猎人与搜集者困境（Stag Hunt Game）、和协作网络（Networked Cooperation）等诸多社会性协作困境，比如两团体必定选择能否与对方协作（相互协力）或是背离（选用团体利益）。协作可以带来最大的群体收益，但集体背离或者会造成更高的团体收益。这种状况下，咱们须要在短期的团体利益和常年的群体利益之间做出平衡。在群体协作的情境，咱们必定选择能否向公共资源池中投入资源。投入资源的人或者会从公共资源池中取得收益，但也存在不投入却享用收益的或者性。雷同，智能体作为智能代理在系统里启动协作时也会遇到雷同的疑问，比如智能体经过网络相互衔接，协作的利益取决于网络中的其余智能体的行为。这种设置中的智能体须要在本地协作和全局协作之间做出选用。

钻研者们曾经看法到，在多智能体系统中成功协作不只能优化系统的全体功能，还可以提高智能体在复杂环境中的顺应才干。虽然如此，如何设计出能够促使这些独立智能体被迫协作的机制依然是一个未解难题。

10 月 24日，来自以谷歌为首的联结钻研团队宣布他们的最新钻研《Multi-agent cooperation through learning-aware policy gradients》，他们提出经过学习感知战略梯度的方法来成功多智能体协作。这一钻研的关键疑问是：在多智能体学习中，如何促使自利、独立的智能体成功协作？传统的独立智能体优化自身指标的方式在普通和博弈中往往表现不佳，难以成功协作。为此钻研团队提出了一种新的战略梯度算法，经过思考其余智能体的学习灵活，来成功智能体之间的协作。

他们的关键奉献包括：

钻研团队由来自多个出名机构的学者组成，包括Google Paradigms of Intelligence Team、Mila - Quebec AI Institute、Université de Montréal、McGill University以及CIFAR。Alexander Meulemans和Seijin Kobayashi在这项钻研中做出了相等的奉献。团队成员背景深沉，钻研畛域涵盖人工智能、机器学习和多智能体系统等多个方面，表现了跨学科和跨国协作的特点。经过这种多元化的协作，钻研团队成功地提出了能够成功多智能体协作的翻新算法，对推进多智能体学习畛域的开展具备关键意义。

多智能体学习中的协作应战

在多智能体系统中，每个智能体都努力于优化自己的报答，这通常造成集体之间缺乏协作，发生次优结果。这种现象在博弈论中被称为社会困境，其中最驰名的例子就是囚徒困境。在这种状况下，虽然协作能够带来最优的群体报答，但自利的集体由于担忧对方的背离而偏向于选用不协作，从而造成双方都处于次优形态。

自利集体的协作难题在很多理想场景中获取表现。例如，自主驾驶车辆在共享路线时须要相互协作以防止交通意外，但是每辆车都或者选用最优的团体战略而漠视全体安保。相似地在网络安保中，不同系统须要共享消息以进攻独特的要挟，但由于担忧消息暴露，各系统往往选用不协作，造成安保隐患放大。

现有的多智能体学习钻研在应答这一应战方面取得了一些停顿。传统的方法关键集中在经过设计处罚机制和解放条件来促进协作。但是这些方法往往依赖于预先设定的规定和模型，关于复杂灵活的实践环境表现出局限性。近年来，学习感知战略逐渐成为处置多智能体协作疑问的一个关键方向。

一些钻研提出了学习感知算法，经过让智能体了解并预测其余智能体的学习灵活，从而调整自己的战略来促进协作。这些方法在某些义务中展现了令人鼓舞的成果，证实了学习感知在多智能体协作中的后劲。但是这些方法大多依赖于高阶导数的计算，计算复杂度较高，且在面对不确定和噪声较大的环境时，表现不够稳固。

虽然取得了一些停顿，现有方法在多个方面依然存在无余。例如，许多方法依赖于智能体之间的消息共享，这在散布式系统或隐衷敏感场景中难以成功。此外这些方法在处置大规模、多样化的智能体群体时，计算效率和稳固性尚待提高。因此，提出一种高效、稳固且实用于复杂环境的多智能体协作学习算法，依然是一个亟待处置的关键疑问。

背景和疑问设置

在多智能体学习中，智能体通常在局部可观察随机游戏（POSGs）的框架内启动交互。POSGs是一种由Kuhn于1953年提出的模型，定义为一个蕴含多个智能体的系统，其中每个智能体只能取得局部形态消息。POSGs的关键性在于它能够模拟理想环球中的复杂场景，如智能驾驶、机器人协作和散布式控制系统。每个智能体在POSGs中都面临不齐全消息的应战，这参与了决策和学习的难度。

在普通和博弈中，智能体不只有最大化自己的报答，还要思考其余智能体的战略。这个环节中面临两个关键难题：非静态环境敌对衡选用。非静态环境象征着其余智能体也在同时学习和顺应，这使得环境从单个智能体的视角来看是不时变动的。平衡选用疑问则源于多个纳什平衡的存在，尤其在复杂的POSGs中，某些平衡或者十分次优，造成全体表现不佳。例如，在有限重复的囚徒困境中，齐全背离和协作战略都可以成为纳什平衡，但前者会造成较低的全体报答。

为了应答这些应战，引入同伴学习看法成为一种有效的方法。学习看法的关键在于智能体能够了解和预测其余智能体的学习灵活，并基于这种了解来调整自己的战略。这不只能协助智能体在非静态环境中做出更好的决策，还能促使智能体在多个平衡当选用更优的平衡，从而提高全体协作水平。

经过引入同伴学习看法，智能体不只能在复杂环境中更好地顺应，还能在普通和博弈中成功有效协作。这一方法的外围在于智能体经过建模和学习其余智能体的行为灵活，从而在决策环节中充沛思考他人的反响和变动，最终成功自利智能体之间的协作。钻研标明，这种方法在提高多智能体系统的全体表现方面具备清楚长处。

同伴塑造与序列模型

在多智能体系统中，如何塑造其余智能体的学习行为以成功协作是一个关键的钻研课题。钻研团队提出了一种同伴塑造的元游戏，经过在多智能体局部可观察马尔可夫决策环节（POMDP）中参与一个元档次变量，来示意每个智能体经常使用的学习算法。这个元游戏的指标是让一个元智能体经过学习感知来塑造天真的独特玩家的行为，从而成功协作。这一元游戏被方式化为单智能体POMDP，元形态包括一切独特玩家的战略参数和智能体自身的参数，元环境灵活则示意独特玩家的固定学习规定。

图1|A.阅历数据术语。外部情节包括（外部）游戏的