从指标调配到门路规划 哈工大团队提出智能仓库的多智能体深度学习处置打算

随着物盛行业的极速开展，智能仓库技术应运而生，旨在提高仓储效率和灵敏性。传统仓库依赖传送带等固定设施，虽然能够成功基本的物料搬运义务，但其灵敏性差，难以顺应始终变动的需求。智能仓库经过引入多智能体系统，应用自主移动的机器人来成功货物的搬运和分拣，大大优化了仓储操作的效率和灵敏性。但是智能仓库面临的一个关键应战是如何有效地启动指标调配和门路规划（TAPF），以确保多个机器人能够高效协同上班，防止门路抵触和资源糜费。

在智能仓库中，TAPF疑问触及为每个机器人调配义务（如搬运货物）并规划其后退门路，以确保义务能够高效成功且门路不出现抵触。TAPF疑问的复杂性在于其理论是一个NP难疑问，具有渺小的搜查空间。传统方法理论将指标调配和门路规划离开处置，但这种方法疏忽了两者之间的相互影响，或者造成次优的处置打算。正当的指标调配不只可以有效缩小机器人的门路长度，提高操作效率，还能协助防止不同机器人之间的门路抵触。因此，处置TAPF疑问关于智能仓库的高效运转至关关键。

8 月 27 日宣布的论文《Multi-Agent Target Assignment and Path Finding for Intelligent Warehouse: A Cooperative Multi-Agent Deep Reinforcement Learning Perspective》提出了一种基于协作多智能体深度强化学习（RL）的方法，初次将TAPF疑问建模为协作多智能体深度RL疑问，并同时处置指标调配和门路规划。详细翻新点包括：

这些翻新点不只为智能仓库中的TAPF疑问提供了新的处置思绪，也展现了协作多智能体深度RL在实践运行中的后劲。

论文的钻研团队来自哈尔滨工业大学（深圳）控制迷信与工程系，成员包括Qi Liu, Jianqi Gao, Dongjie Zhu, Xizheng Pang, Pengbin Chen, Jingxiang Guo, Yanjie Li。团队在多智能体系统、深度强化学习和智能仓库技术方面具有丰盛的钻研阅历和技术积攒。经过本钻研，团队展现了其在智能仓库畛域的翻新才干和技术实力，为未来的钻研和运行奠定了松软基础。

背景与动机

传统仓库技术关键依赖于传送带、叉车和固定的货架系统来成功物料搬运和存储。这些系统虽然在肯定水平上提高了仓储效率，但其局限性也十分清楚。首先，传统仓库系统缺乏灵敏性，难以顺应始终变动的订单需求和仓储规划调整。其次，传送带和固定货架系统的裁减性差，参与新的存储空间或搬运门路往往须要大规模的配件变革。此外，传统仓库系统的智能化水平有限，依赖少量人工操作，造成人力老本高且容易出现人为失误。

智能仓库系统的长处

智能仓库系统经过引入多智能体系统（如自主移动机器人），克制了传统仓库技术的诸多局限性。智能仓库的关键长处包括：

现有TAPF疑问处置方法的无余

在智能仓库中，指标调配与门路规划（TAPF）疑问是确保多个机器人高效协同上班的关键。但是现有的TAPF疑问处置方法存在一些无余之处。

分别处置：传统方法理论将指标调配和门路规划离开处置，疏忽了两者之间的相互影响。这种方法或者造成次优的处置打算，不可充沛优化全体效率。

物理灵活个性疏忽：许多现有方法在门路规划中疏忽了机器人的物理灵活个性（如速度和减速度），造成规划门路不够准确，影响实践口头效果。

期间效率低：传统方法在处置复杂义务场景时，计算期间迅速参与，难以满足实践运行中的实时性要求。

论文提出的基于协作多智能体深度强化学习的方法，旨在同时处置指标调配和门路规划疑问，并思考机器人的物理灵活个性，从而克制现有方法的无余，提高智能仓库系统的全体效率和适用性。

TAPF疑问的建模

指标调配与门路规划（TAPF）疑问是智能仓库系统中的外围疑问之一。TAPF疑问包括两个关键部分：多智能体义务调配（MATA）和多智能体门路寻觅（MAPF）。在MATA中，系统须要依据订单需求为每个智能体调配特定义务，而在MAPF中，系统须要规划每个智能体的门路，确保其在口头义务时不会与其余智能体出现抵触。TAPF疑问理论是NP难疑问，具有渺小的搜查空间，间接求解十分艰巨。传统方法理论将这两个疑问离开处置，但这种方法疏忽了义务调配和门路规划之间的相互影响，或者造成次优的处置打算。

图1：将TAPF建模为MARL疑问

多智能体强化学习（MARL）是一种处置多个智能体在独特环境中交互的学习方法。MARL的指标是学习一个战略，使一切智能体能够协同上班，成功独特指标。MARL可以经过以下几个关键元历来建模。

在MARL中，每个智能体依据其观测到的环境形态选用举措，并经过与环境和其余智能体的交互来学习最优战略。协作多智能体深度强化学习（Cooperative MARL）特意适用于须要多个智能体协同上班的场景，如智能仓库中的TAPF疑问。

在智能仓库的TAPF疑问中，思考智能体的物理灵活个性（如速度和减速度）关于提高门路规划的准确性和实践口头效果至关关键。传统方法理论只关注智能体的下一个位置，而疏忽了其物理灵活个性，这或者造成规划门路不够准确，影响实践口头效果。

论文提出的方法初次在TAPF疑问中思考了智能体的物理灵活个性。详细来说，智能体的举措空间是延续的，示意智能体在四个基本方向上的移动速度。经过计算智能体的速度和减速度，可以更准确地规划其门路，确保门路规划的实践可行性和高效性。

图2：智能体的物理能源学

经过将TAPF疑问建模为协作多智能体深度强化学习疑问，并思考智能体的物理灵活个性，论文提出的方法能够更有效地处明智能仓库中的指标调配与门路规划疑问，提高系统的全体效率和适用性。

详细方法

1. TAPF疑问的MARL建模

形态空间、举措空间与鼓励函数的定义

在论文中，指标调配与门路规划（TAPF）疑问被建模为一个协作多智能体强化学习（MARL）疑问。详细来说，系统的形态空间（S）、举措空间（A）和鼓励函数（r）被定义如下：

形态空间（S）：每个智能体的观测蕴含其自身的位置和速度、一切义务的相对位置、其余智能体的相对位置以及临近阻碍物的相对位置。经过这些观测，智能体能够感知其周围环境并做出决策。

举措空间（A）：智能体的举措空间是延续的，示意智能体在四个基本方向上的移动速度（左、右、下、上）。最终举措是四个方向速度的向量和。

鼓励函数（r）：鼓励函数被定义为多个部分的组合，包括义务成功鼓励、义务到智能体的距离鼓励、智能体与阻碍物碰撞的处罚以及智能体之间碰撞的处罚。详细公式如下：

成功鼓励：

其中n示意满足条件的元素数量。

距离鼓励：

碰撞处罚（阻碍物）：

其中n示意满足条件的元素数量。

碰撞处罚（智能体）：

其中n示意满足条件的元素数量。

智能体的物理灵活个性

论文初次在TAPF疑问中思考了智能体的物理灵活个性。详细来说，智能体的举措不只仅是位置的变动，还包括速度和减速度的计算。经过计算智能体在四个基本方向上的力（F⃗x, F⃗−x, F⃗y, F⃗−y），依据牛顿第二定律可以获取减速度，而后经过减速度计算速度，最终获取智能体的举措。这种方法使得门路规划愈加准确，能够更好地反映实践口头中的物理个性。

图3：智能体的举措空间

2. 经常使用MADDPG算法处置TAPF疑问

战略网络与评论者网络的降级

在论文中，经常使用多智能体深度确定性战略梯度（MADDPG）算法来处置TAPF疑问。因为智能体是同质的，它们可以共享相反的战略网络，从而提高学习效率。详细来说，战略参数经过集中评论者Q启动迭代降级，评论者参数经过最小化损失函数启动优化：

其中，xt和at区分示意一切智能体在期间步t的观测和举措的拼接，D示意蕴含样本的重放缓冲区。

其中，yt为指标评论者网络的值，定义为：

鼓励共享与口头阶段的战略

在训练环节中，智能体经过共享鼓励来学习协作战略。在口头阶段，仅经常使用战略网络π，其输入为各智能体的观测，输入为施加在智能体上的力。依据智能体的物理灵活个性，可以计算出智能体的举措。详细来说在口头阶段，每个智能体仅依赖其部分观测启动决策，从而成功扩散口头。

图4：义务和智能体的距离矩阵。

经过这种方法，论文提出的处置打算能够同时处置指标调配和门路规划疑问，提高智能仓库系统的全体效率和适用性。

试验结果

1. 指标调配与门路规划功能验证

为了验证论文方法在指标调配与门路规划（TAPF）疑问上的功能，钻研团队在不同难度的智能仓库场景中启动了试验。试验设置了五个不同难度的场景：两个智能体-两个义务、两个智能体-四个义务、五个智能体-五个义务、五个智能体-十个义务和五个智能体-二十个义务。

试验结果显示，在一切不同难度的场景中，论文方法的平均报答值均出现出干燥参与的趋向，验证了方法的稳固性。详细体现如下：

便捷义务（如两个智能体-两个义务）：指标调配和门路规划均体现良好，义务调配正当，门路凑近最短。

复杂义务（如五个智能体-二十个义务）：虽然义务难度逐渐参与，论文方法依然能够正当调配义务，并规划出凑近最短的门路。

这些结果标明，论文方法在各种义务设置中均能有效处置TAPF疑问，具有较高的顺应性和稳固性。

2. 协作才干验证

为了验证智能体在抵触场景下的协作才干，钻研团队设计了一个特定的抵触场景。在该场景中，两个智能体的义务门路肯定会出现抵触。试验结果显示，智能体能够在抵触点相互避让，而后继续导航到各自的义务点，成功成功义务。

详细体现为：

智能体1和智能体2：在抵触点相互避让，区分沿着白色和青色轨迹成功导航义务。

这一结果验证了论文方法在协作多智能体深度强化学习中的有效性，智能体能够在复杂环境中学集协作，防止抵触，提高义务成成效率。

3. 期间效率验证

期间效率是实践运行中一个关键的考量起因。钻研团队将论文方法与传统方法在期间消耗上的体现启动了对比。传统方法先处置指标调配疑问（TA），而后启动门路规划（PF），而论文方法同时处置这两个疑问。

试验结果显示：

便捷义务（如两个智能体-两个义务）：传统方法的期间消耗可以接受。

复杂义务（如五个智能体-二十个义务）：传统方法的期间消耗迅速参与，难以满足实时性要求。相比之下，论文方法在一切不同难度的义务中均能高效地提供战略，验证了其期间效率。

这些结果标明，论文方法在期间效率上具有清楚长处，能够更好地满足实践运行中的需求。

试验结果展现了论文方法在智能仓库中的潜在运行价值。经过同时处置指标调配和门路规划疑问，并思考智能体的物理灵活个性，论文方法不只提高了系统的全体效率和稳固性，还展现了其在实践运行中的高效性和适用性。这为智能仓库系统的进一步开展和优化提供了新的思绪和技术允许。

探讨与未来上班

论文方法初次将指标调配与门路规划（TAPF）疑问建模为协作多智能体深度强化学习（MARL）疑问，能够同时处置这两个关键疑问，防止了传统方法中分别处置带来的次优解。在门路规划中思考了智能体的物理灵活个性（如速度和减速度），使得规划门路愈加准确，能够更好地反映实践口头中的物理个性。试验结果标明，论文方法在各种义务设置中均体现出较高的期间效率，能够满足实践运行中的实时性要求。智能体在抵触场景中能够学集协作，防止门路抵触，提高义务成成效率。

虽然论文方法在期间效率上体现优秀，但在处置大规模智能体和义务时，计算复杂度依然较高，或者须要进一步优化算法以提高可裁减性。论文方法在特定的智能仓库环境中体现良好，但在不同类型的仓库环境中，或者须要对算法启动调整和优化，以顺应不同的运行场景。深度强化学习方法理论须要少量的训练期间和计算资源，论文方法在实践运行中或者须要较长的训练周期。

进一步优化算法以降落计算复杂度，提高可裁减性，使其能够处置更大规模的智能体和义务。钻研如何使算法在不同类型的智能仓库环境中具有更好的顺应性，优化其通用性。探务实时学习和在线降级的方法，使智能体能够在实践操作中始终学习和优化战略，优化系统的灵活照应才干。结合视觉、语音等多模态消息，优化智能体的感知才干和决策精度。

论文方法在智能仓库中的成功运行展现了其在智能物流畛域的渺小后劲，未来可以推行到更宽泛的物流场景中，如智能配送中心和无人仓库。在智能制作畛域，论文方法可以用于优化消费线上的物料搬运和义务调配，提高消费效率和灵敏性。在服务机器人畛域，论文方法可以用于多机器人协作义务，如清洁机器人和配送机器人，优化其协作才干和义务成成效率。

论断

论文提出了一种基于协作多智能体深度强化学习的方法，初次将智能仓库中的指标调配与门路规划（TAPF）疑问建模为协作多智能体深度强化学习疑问，并同时处置这两个关键疑问。经过试验验证，论文方法在各种义务设置中均体现良好，指标调配正当，门路凑近最短，且比基线方法更高效。论文方法在期间效率和协作才干上体现出清楚长处，展现了其在智能仓库中的潜在运行价值。

论文方法经过同时处置指标调配和门路规划疑问，并思考智能体的物理灵活个性，不只提高了智能仓库系统的全体效率和稳固性，还展现了其在实践运行中的高效性和适用性。未来，论文方法有望在智能物流、智能制作和服务机器人等畛域获取宽泛运行，为这些畛域的进一步开展和优化提供新的技术允许和处置打算。（END）

参考资料：

本文转载自​​，作者：​​