具身多智能体义务中规划与推理的基准测试框架 Meta最新！PARTNR

本文提出了一团体机协作中的规划与推理义务基准（PARTNR），旨在钻研家庭优惠中的人机协调。PARTNR义务展现了日常义务的特点，如空间、时期和异构agent才干解放。咱们驳回大型言语模型（LLMs）构建了一个半智能化的义务生成流程，并融入了循环中的模拟以启动成功和验证。PARTNR是同类基准中规模最大的，蕴含10万团体造言语义务，触及60栋屋宇和5819个共同东西。围绕规划、感知和技艺执行等维度，对PARTNR义务上的最新大言语模型（SoTA）启动了剖析。剖析结果显示，SoTA模型存在清楚局限性，如协调性差、义务跟踪失败以及失误复原才干无余。当大型言语模型与人类实在用户配对时，它们所需的步骤数是两人协作的1.5倍，比单团体类多1.1倍，这凸显了这些模型有待优化的后劲。论文还进一步标明，经常使用规划数据对较小的大型言语模型启动微调，可以成功与体积为其9倍的大型模型相当的性能，同时在推理速度上快8.6倍。PARTNR凸显了协作式实体agents面临的严重应战，并旨在推进该畛域的钻研开展。

Code:

Website:

内容出自国际首个具身智能全栈学习社区： 具身智能之心常识星球， 这里蕴含一切你想要的。

构想这样一个家用机器人：它能像人与人之间的互动那样，经常使用人造言语与人类在日常优惠中协作。这种场景须要两个关键个性：机器人与人类之间的灵活协作，以及经常使用人造言语启动交流。具身人工智能（embodied AI）的基准测试通常只满足其中一个条件；要么机器人是独立运作的，要么义务不是用人造言语指定的。虽然具身人工智能畛域取得了清楚停顿，但在评价机器人在协作环境中的体现的事实基准测试方面仍存在空白。为了补偿这一空白，咱们推出了人机协作中的规划与推理义务基准（PARTNR），这是一个陈腐的基准测试，用于评价具身人工智能agent在模拟室内环境中与人类在各种家庭优惠上的协作才干。

PARTNR由10万团体造言语指令和与之配套的评价函数组成，重点关注四种义务类型：（1）无解放义务，其中子义务可以由任一agent以任何方式成功，（2）蕴含空间解放的空间义务，（3）须要按顺序执行的时期义务，以及（4）蕴含无法由其中一个agent成功的举措的异构义务。除了长时规划、新型局部可观察环境以及大形态和举措空间等传统应战外，PARTNR还强调了有效协作灵活（如义务调配和跟踪协作同伴的进度）的必要性。

创立这样一个具备大规模人造言语义务和定制评价函数的基准测试面临着严重应战。的基准测试通常依赖于模板化义务或由人类设计的义务和评价，这或者限度了数据集的多样性或规模。为了克制这一疑问，本文提出了一种经常使用大型言语模型（LLMs）并结合循环模拟接地（simulation-in-the-loop grounding）的半智能化生成方法。首先，大型言语模型生成义务和评价函数，这些函数与模拟屋宇中的东西和家具相关联。接上去，驳回循环模拟来过滤掉幻觉和无法行的指令，并经过人工标注来增强多样性和准确性。而后，应用一套经过验证的1000条指令和评价函数以及多样化的模拟屋宇，经过高低文提醒疏导大型言语模型创立10万个义务。

由于PARTNR蕴含人造言语义务，且大型言语模型（LLMs）在规划方面已展现出清楚功效，咱们探求了如何提醒和微调LLMs，以评价它们在协作场景中的有效性。咱们钻研了环境可观性（即齐全可观或局部可观）、集中式与扩散式多智能体控制、学习到的或特权机器人技艺、以及基于LLMs的规划中对3D环球消息启动接地的不同方式的影响。除了这些经常使用分解人类同伴启动的智能化评价外，还启动了蕴含实在人类介入的评价，让人们独自执行义务、与人类同伴一同执行义务或与LLMs指点的机器人同伴一同执行义务。总体而言，发现LLMs在协调、义务跟踪以及处置感知和技艺失误方面存在艰巨。虽然人类能够处置93%的PARTNR义务，但在非特权条件下，最先进（SoTA）的LLMs仅能成功成功30%的义务。此外，在扩散式多智能体设置中，由于跟踪同伴举措的才干较差，造成发生了多余举措，成功义务所需的步骤比单智能体多1.3倍。相比之下，在咱们的蕴含实在人类介入的试验中，人类伙伴的体现优于独自的人类，这凸显了改良LLMs协作战略的后劲。LLMs还难以从技艺失败和感知接地失误中复原，当移除特权技艺和特权感知时，其性能会降低。在比拟模型大小时，咱们发现经过微调的较小模型Llama3.1-8B的性能与未经微调的Llama3.1-70B相当，但推理速度却快了8.6倍。在与实在人类共同介入的评价中，这一更快的推理速度施展了关键作用，由于经过微调的模型所需步骤更少，为人类分担了更多义务。

PARTNR能够在各种协作场景中成功对具身智能体的可重复、大规模和系统性的评价。经过系统性的评价，咱们提醒了基于LLM的规划器的关键局限性，为未来的钻研指明了幽默的方向。

基于言语的具身人工智能基准测试。少量关于具身人工智能中言语基准测试的上班都集中在导航或具身问答上，这些义务触及导航和消息搜集，但不须要智能体修正其环境。与本文的上班更为凑近的是指令遵照基准测试，在这些基准测试中，智能体经过与环境的交互来成功经过言语形容的义务，虽然义务的多样性有限。相比之下，咱们应用大型言语模型（LLMs）生成多样化的义务定义和场景初始化，并将其扩展到多智能体设置中。经常使用LLMs扩展义务生成的规模这一想法在最近的一些上班中失掉了探求。但是，这些上班往往并重于相对短期内的单智能体义务，而本文思考的是常年的多智能体疑问。表1将相关基准测试与PARTNR启动了比拟。

具身多智能体基准测试。多项上班曾经提出了具身多智能体基准测试。其中许多基准测试都集中在便捷2D环境中的协调疑问上，这限度了它们在事实环球场景中的运行。最近的上班开发了钻研更实在环境和优惠中协作的基准测试，这些基准测试关注在大型、局部可观察的3D环境中从新陈列物体或家具，或在柜台空间内操作物体。但是，这些基准测试通常局限于一组预约义且数量有限的义务，这些义务往往不是用人造言语形容的，并且关键触及物体的从新陈列。相比之下，PARTNR涵盖了一个放开的义务集，每个义务都用人造言语形容，要求智能体在空间和时期的解放下从新陈列物体，并要求执行只能由人类智能体成功的异构举措（例如洗碗或关上烤箱）。

咱们推出了PARTNR基准测试，旨在训练和评价机器人与人类协作处置人造言语义务的才干。PARTNR涵盖了四种类型的义务：（1）无解放义务，即子义务可以由任一智能体以任何方式成功。例如，“让咱们把一切脏盘子移到水槽里。”（2）空间义务，须要推理物体的空间位置。例如，“让咱们把书放在书架上，彼此紧挨着。”（3）时期义务，子义务的执行顺序很关键。例如，“让咱们先把餐桌上的蜡烛拿走，再把盘子端到桌上。”（4）异构义务，触及超出机器人才干的举措。例如，“让咱们在把盘子放到架子上之前先把它们洗洁净。”在机器人的技艺不支持洗濯的场景中，成功这项义务须要对智能体的才干启动推理。咱们的基准测试包括人造言语指令和相应的评价函数，这两者都是经常使用大型言语模型（LLMs）大规模生成的。详细来说，咱们生成了1000条经过人工验证的指令和相应的评价函数，并将它们作为即时提醒示例，扩展到其余具备不同规划和物体的场景中的100000项义务。咱们智能生成的一个共同之处在于，在生成循环中整合了一个实体模拟器，这大大缩小了大型言语模型或者发生的幻觉和无法执行作等失误。

1 基于仿真循环的义务指令生成

虽然基于大型言语模型（LLM）的义务生成在之前的文献中已有钻研，但这些生成的义务并未超出用户创立的 in-context prompts的范围。在PARTNR中，经常使用了基于仿真循环的生成技术，将大言语模型与环境、智能体和可用举措相结合。详细来说，在Habitat 3.0模拟器中实例化了一个仿真环境，该环境填充了HSSD数据集，蕴含60栋共同的屋宇和5819个OVMM对象。模拟屋宇被解析为房间和可用家具的列表，并与一切可用目的一同传递给大言语模型。应用这些消息，要求大言语模型在场景中生成自在方式、可行的义务，以及初始场景形态形容。例如，假设生成的义务是“清算客厅的餐具”，大型言语模型应该生成一个客厅内有多个餐具的初始场景。在这个阶段，还会向场景中参与额外的目的，以在环境中制作凌乱。义务、初始形态和凌乱一旦生成，就会在模拟器中实例化，并过滤掉无法行的指令。例如，假设屋宇没有客厅，“清算客厅的餐具”就是有效的。雷同，假设生成的义务须要模拟器不支持的举措，如折叠，则该义务会被过滤掉。通常，幻觉的发生率很高，造成少量情节被摈弃。咱们观察到，在过滤掉无法行的指令后，生成指令的多样性通常遭到限度。例如，大少数指令都经常使用相反的对象（如餐具）或相似的房间（如厨房或餐厅）。为了参与生成义务的多样性，咱们启动了手动标注，以确保义务和对象的多样性，例如，经过修正指令以激起特定特色，来维持无解放、空间、时期和异构义务的平衡散布。这一环节发生了1000个经过人工标注和仿真验证的义务。

关于大规模生成而言，这种手动标注并不实践。相反，咱们应用这1000条经过人工标注的指令作为提醒中的示例，来扩展生成规模。向大言语模型提供屋宇形容和一个示例义务，并批示它修正义务以顺应新的屋宇。例如，将义务“清算客厅里的一切餐具”修正为“清算卧室里的一切玩具”。这样做可以在坚持原始标注指令集多样性的同时，确保在模拟器中成功实例化的高或者性。从品质上看，咱们过滤或编辑了约90%的自在方式生成的指令，而只要约10%的扩展指令须要这样做。经常使用LLama3-70B-Instruct来生成一切指令。最后，一切义务都经过基于人类反应的循环过滤。在这一步中，人类经常使用咱们的基于人类反应的工具尝试成功义务，并消弭难以检测的物理上无法行的指令，比如要求一个物体同时出如今两个位置。图2概述了咱们的流程。

为了判别智能体能否成功成功了指令“清算客厅里的一切餐具”，咱们须要一个评价函数来验证能否已从任何客厅中移除了一切勺子、叉子和其余餐具。但是，手动标注义务所需的一切从新陈列和形态变动既耗时又由于每个义务的独个性而在大规模上难以成功。与指令生成相似，咱们驳回大型言语模型（LLM）来创立一个评价函数，该函数无需任何手动标注即可评价义务成功状况。详细来说，应用大型言语模型生成基于谓词的Python程序的才干，这须要经常使用三种类型的API：一个命题列表，批示实体之间必定满足的相关；一组依赖项，批示何时应查问命题；以及一组解放，批示命题必定如何满足。为这些组件中的每一个定义了一个富裕表白力的词汇，以便对基准测试中的一切义务启动评价（例如，图3）。亲密相关的评价系统包括经常使用PDDL或BDDL定义义务。选用构建一个新的基于Python的评价系统，由于这两个系统都无法在坚持人类和大型言语模型可解释性的同时评价PARTNR义务；例如，BDDL不支持随时期变动的评价。由于PARTNR义务具备时期依赖性（例如，多步骤从新陈列），因此评价函数的输入是义务执行时期模拟器形态的完整序列。评价函数前往三个目的：（1）成功百分比（PC ∈ [0, 1]），即相关于解放而言已满足的命题的百分比；（2）成功（S ∈ {True, False}），权衡义务能否成功成功，定义为S := (PC = 1)；以及（3）失败解释（FE），一种人类和大型言语模型可解释的言语形容，用于说明智能体未能成功义务的要素。

经常使用CodeLLama-70B-instruct来生成评价函数。如图3所示，生成完美的评价函数并非易事。大型言语模型（LLM）必定依据人造言语指令和特定的模拟环境，正确分类一切或者的举措空间，这或者相当复杂。例如，在图3中，指令“把植物放在架子上”指的是“架子”，但房间里有两个架子。评价函数必定准许选用恣意一个架子，同时要求搁置一切植物，并最终思考相邻相关。命题或解放中的任何失误或缺失值都会造成评价函数失效。因此，咱们观察到LLM生成的失误率很高，特别是关于失误命题和时期顺序解放的失误。

为了减轻这些不准确性，遵照与指令生成相似的半智能化程序。首先为1000条人工标注的指令生成评价函数，并启入手动标注以启动修正。这发生了蕴含1000对经过人工验证的指令和评价函数的数据集。接上去，为扩展的100000条指令集生成评价。请留意，扩展指令是经过向LLM提供标注集中的示例指令来生成的。咱们检索相应的标注评价函数，并将其提供应LLM。这与检索增强生成等方法相似，并经过人工审核发现，将评价函数生成的准确率从50%提高到92%。最后一步是，要求人类用户经常使用咱们基于人类反应的评价工具处置一切PARTNR义务。一切在人类用户6次尝试（3次单人尝试，3次多人尝试）后仍未处置的义务都被视为无法行，并从数据集中删除。咱们发现，智能化生成的指令中约有90%准确，评价函数中约有92%准确，综合生成准确率为90% × 92% = 83%。

3 PARTNR>PARTNR数据集由来自HSSD数据集的37个训练场景中的100,000个片段、13个验证场景中的1,000个片段和10个测试场景中的1,000个片段组成。在扩展生成后，一切验证集和测试集的片段都经过了人工标注以确保正确性，同时训练集的一个蕴含2,000个片段的子集也启动了人工标注。关于扩展生成片段的正确性剖析。上方剖析下该数据集的特点和多样性。

特点：如前所述，PARTNR数据集并重于四种义务类型：无解放、空间、时期和异构。在图4中展现了这些义务类型在测试集中的散布状况；验证集的散布状况与之相似。PARTNR数据集在这些维度上独立且联结地评价协作。其余值得关注的个性包括依赖重排（例如，“把它们放在同一张桌子上”）和同一对象的多步重排（例如，“把杯子拿到水槽边，洗洁净，而后放进橱柜里”）。7%的义务蕴含依赖重排，6%的义务蕴含多步重排。义务平均须要满足4.7个命题（标明成功义务所需的步骤数量）。

多样性：PARTNR数据集中义务的多样性在很大水平上得益于循环模拟生成，该生成方法应用了丰盛的HSSD场景和OVMM对象集。因此，PARTNR数据集中的义务触及并须要对155种共同对象类型、20类家具和13种房型启动推理。请留意，每条指令在每个屋宇中的实例化都带来了其自身的多样性。例如，“把笔记本电脑搬到办公桌上”，这条指令在每个屋宇中都共同别指定了办公室和桌子的位置，以及不同指令中不同的笔记本电脑实例。

咱们应用PARTNR探求了最先进的规划和感知方法如何在新环境中处置人造言语义务，以及如何与未见过的同伴启动协调。由于PARTNR蕴含由言语指定的各种时空义务，这里关键在基线中经常使用大型言语模型（LLMs）启动规划，并钻研了以下变体：（1）零样本提醒、检索增强生成或微调，（2）集中式规划与扩散式规划，（3）局部可观察环境与齐全可观察环境，（4）学习失掉的低级机器人技艺与理想的低级机器人技艺，以及（5）特权感知与非特权感知。

试验是在Habitat 3.0模拟器中启动的，经常使用了模拟的Spot机器人。咱们为机器人和模拟人类驳回了一种两层分级控制架构，如图5所示。在上层级上，规划器从预约义的技艺库（例如，导航、拾取、搁置、关上、封锁）中选用技艺。咱们还经常使用了一个具备三层档次结构的文本环球图，区分示意房间、家具和可移生物体。图中的每个节点都存储了一个语义类别（例如，厨房、桌子或杯子）、三维消息（例如，位置或边界框）和形态（例如，洁净、已通电）。

咱们依照以下维度对基线启动评价：

1.初级规划器的变体：

一切模型生成都遭到解放生成的限度，仅输入对观察到的对象有效的举措。解放生成极大地缩小了LLM典型的幻觉和“语法”失误。当两个agent都调用Done或到达最大模拟步骤或LLM调用时，一个片段即完结。

为了钻研多agent PARTNR义务中协调的开支，这里比拟了集中式规划器和扩散式规划器。在集中式规划中，单个大型言语模型（LLM）依据两个agent的完整形态消息为它们选择举措，从而有效地消弭了agent之间的任何协调需求。在扩散式规划中，每个agent由不同的LLM控制，每个LLM都须要推断另一个agent的举措。

为了评价最先进（SoTA）的言语模型能否能够探求新环境并识别与义务相关的对象，思考了一个局部可观察的设置，其中规划器知道屋宇的规划但不知道目的的位置，因此须要探求。这与齐全可观察的设置构成对比，在齐全可观察的设置中，一切目的的位置都是事前已知的。

本文钻研了学习到的神经网络技艺与先知技艺（具备特权模拟消息）对PARTNR义务全体性能的影响。这里为拾取、搁置、导航、关上和封锁举措创立了一个学习到的技艺库，并与先知技艺启动了性能比拟。

为了钻研诸如检测不准确和定位近似等感知应战，经常使用了带有修正后的ConceptGraphs的非特权环球图，该图仅依据agent的RGBD观测结果构建。随着agent的探求和举措，这个环球图将经常使用机载传感器启动降级。相比之下，在特权感知下，这些消息可以间接从模拟中失掉。

目的。经常使用四个关键目的来评价不同设置下的性能。首先，模拟步数目的权衡了agent在模拟环境中成功义务所需的步数，作为效率的一个目的。其次，成功率反映了义务的成功状况，即能否满足“一切”义务解放。鉴于PARTNR义务的复杂性和常年性，agent通常只能局部成功义务。为了思考这一点，还报告了成功百分比，它量化了已成功义务“命题”的比例（关于成功的义务，成功百分比为1）。最后，咱们经过规划周期目的来评价规划器的推理效率，该目的计算每个规划器在一个情节环节中启动的初级大型言语模型（LLM）调用的次数。在一切试验中，将规划器的最大调用次数限度在50次以内。

义务性能剖析

表2展现了经常使用Llama3.1-70B-Instruct模型作为ReAct基线，以及经常使用微调后的Llama3.1-8B基础模型作为微调基线。由于PARTNR义务是多agent义务，还须要一个模拟的人类同伴，经常使用Llama3.1-70B-Instruct模型并经过ReAct方法对其启动控制。关键发现如下所述。

基于LLM的规划器在处置PARTNR义务时面临应战。在一切可观察性和可控性条件下，基于LLM的基线性能均不如具备特权的启示式专家，要素是义务跟踪中发生失误（未成功一切步骤、步骤顺序失误或撤销已成功的步骤），以及语义失误（将对象搁置在失误的家具上或移动失误的对象），这标明LLM在义务规划方面存在差距。

LLM在扩散式设置中的协调方面体现不佳。没有特权访问同伴用意的扩散式ReAct基线在义务成功速度上清楚慢于集中式ReAct。这标明，对同伴启动推理（例如，了解或推断同伴的用意）可以提高PARTNR义务的效率，而最先进的LLM在这方面体现不佳。此外，有两个agent的扩散式ReAct甚至慢于单个agent的ReAct（行(e)中的多agent须要3295步，而行(a)中的单agent须要2519步），这标明LLM在协调方面接受着渺小的“累赘”。在4.2.2节关于额外致力的剖析中，咱们进一步强调了这种协调累赘，咱们发现，在扩散式设置中，agent最终会更高频率地重复义务的局部内容或执行不相关的举措。

LLM（大型言语模型）无法从已学习技艺的失败中复原。当用已学习技艺交流Oracle技艺时，成功率从0.73降低到0.57（行(e)对比行(h)）。这种降低可以归因于，与具备特权的Oracle技艺相比，已学习技艺的失败率更高，且所需的模拟步骤更多。LLM在应答技艺失误（如未能拾取物体或执行不完整的探求）时难以复原，从而造成成功率降低。未来的钻研可以探求训练蕴含低级技艺循环的大型模型，使它们能够在面对此类失败时学习复原和从新规划战略。

LLM对感知失误体现出高度敏理性。当用现成的感知模块交流具备特权的感知时，成功率清楚降低（从行(h)中具备特权、局部环球图的0.57降低到行(i)中经常使用Concept-Graphs的0.30）。LLM严重依赖环球图提供的准确环球形容，并且难以纠正诸如误分类（例如，将架子误以为是桌子）或房间调配失误（例如，将客厅的桌子失误地标志为在卧室）等失误。像VLM（视觉言语模型）这样的多模态模型或者在从这类失败中复原方面更弱小，这留待未来的上班来钻研。

微调后的8B模型在性能上与经常使用70B模型的ReAct相当，但推理速度却快了8.6倍。咱们发现，经常使用较小8B模型的微调规划器与经常使用更大70B模型的ReAct性能相当（内行(e)中，70B模型的成功率为0.73，而内行(g)中，微调后的8B模型的成功率为0.70）。同时发现微调模型在推理速度上快了8.6倍。这标明微调有效地从训练集中提取了与义务相关的消息，并将其泛化到新的测试义务中。当与人类共同部署时，微调模型所需的步骤更少，并且能够分担比70B模型更多的子义务（见表3）。

协作行为与效率剖析

表2中的剖析提醒了大型言语模型（LLM）在协作中面临的应战，这促使咱们更深化地钻研详细的协作行为。

机器人承当了高达60%的义务。咱们评价了机器人在从人类那里分负责务方面的才干，详细方法是测量在成功的PARTNR义务中，机器人执行的子义务占总子义务的比例。虽然单智能体和多智能体的成功率相似（0.73对比0.74），但在去核心化的多智能体环境中，机器人承当了约60%的子义务，从而减轻了人类的累赘。

去核心化的智能体容易执行多余的义务。智能体有时会执行对义务无用的子义务，如从新陈列义务中不须要的物体或重复另一个智能体曾经成功的子义务。为了权衡这种多余的致力，咱们计算了在一次性义务中，智能体的有效举措（即未参与义务成功百分比、未对义务停顿做出奉献的举措）占总成功举措的比例。咱们发现，与单智能体相比，在去核心化的多智能体环境中，有效致力参与了300%（见表12），这标明协调累赘清楚参与。

时期和异构义务对LLM来说具备应战性。LLM在时期和异构义务上体现艰巨。与ReAct的无解放义务相比，时期义务的成功率降低了27%，异构义务的成功率降低了20%（见表13）。这凸显了LLM在推明智能体才干和遵照严厉顺序解放方面的局限性。

人机交互评价

咱们基于Habitat 3.0中的Human-in-the-loop基础设备启动了构建，并将其调整为主机-客户端架构，其中主机托管在AWS上，能够支持多个客户端。这使咱们能够经常使用129名非专业人类介入者对义务启动大规模评价。经常使用该工具从验证集和测试集中搜集了1000个义务的单用户和多用户数据。在单用户设置中，一名介入者经过键盘/鼠标控制在模拟器中的人类角色来成功整个义务（附录中的图14展现了咱们的HITL界面）。在多用户设置中，两名介入者区分控制一团体类角色和一个机器人角色来共同成功义务。这些试验的目的是钻研PARTNR义务中的多用户灵活，并观察多名人类协作能否比单团体类更高效。最后，咱们启动了一项人机试验，其中一名人类介入者与由大型言语模型（LLM）控制的机器人协作。该试验旨在评价LLM控制的智能体在与未见过的实在人类协作时的体现。表3显示了验证集中义务在单用户、多用户、人类-ReAct和人类-微调设置下的成功率（SR）和成功百分比（PC）。此外，咱们还测量了每种方法成功义务所需的步数，以及机器人成功的上班量比例（即义务分担）。咱们还经过测量选用第一个对象所需的步数和无用致力（指对义务成功没有协助的举措）来权衡人在回路中的探求效率。这些结果总结在表3中。

人类在PARTNR义务上的体现清楚优于LLM。在单人和多人环境中，人类在PARTNR基准上的成功率均为0.93。相比之下，没有任何特权消息的ReAct模型的成功率清楚降低至0.30（表2的第(i)行）。这凸显了LLM在规划义务性能上的渺小差距。值得留意的是，当与实在人类一同评价时，像ReAct和微调这样的LLM基线模型的成功率区分为0.92和0.91（表3），由于人类能够顺应LLM的失误。另一方面，表2中的模拟人类是一个LLM，它无法从协作同伴的失误中复原。

在与实在人类协作时，微调后的LLM体现优于ReAct。当与实在人类在回路中一同部署时，微调模型在义务成功上比ReAct更快（微调模型3443步，ReAct 4267步）。它还能从人类那里分担更多义务（微调模型26%，ReAct 16%）。这标明具备更快推理速度的小型模型可以改善实在环球部署中的人类体验。

LLM在协调方面存在艰巨，阻碍了人类的体现。虽然在与人类协作时微调模型比ReAct更快，但两种方法都比人类独自成功义务要慢。相比之下，两名人类一同上班比单团体类成功义务更快（多人2369步，单人3046步）。这一结果与咱们在表1中观察到的智能化评价结果分歧，其中多智能体LLM也比单智能体LLM更慢。这一结果进一步证明，LLM在协调方面存在疑问；而人类能够相互协调并调配义务，但去核心化的LLM却无法做到这一点。

LLM能够从人类那里分负责务。虽然上述义务成功步数有所参与，但由微调模型指点的机器人成功地从人类那里分担了26%的义务。这标明，在与实在人类协作同伴协作时，LLM依然能够提供协助。虽然如此，仍有很大的改良空间。

PARTNR是一个针对多智能体实体义务中的推理与规划基准，其特点是在60个模拟的多房间屋宇中实例化了100,000项人造言语义务，这些屋宇中蕴含5,819个共同物体。咱们驳回半智能化的基于大型言语模型（LLM）的pipeline，用于大规模指令和评价配置的生成，该环节经常使用了基于模拟的循环接地技术。PARTNR展现了日常义务的特点，如时期和空间的限度，并准许对规划方法启动系统评价。咱们发现，在PARTNR义务上，最先进的LLM与人类水平的性能之间存在清楚差距。虽然咱们最佳的LLM基线在没有特权消息的状况下仅成功成功了30%的义务，但人类却能处置93%的义务。此外，LLM在与基于LLM的智能体以及实在人类同伴的协调中都面临着应战。人类介入的评价（即实在人类与LLM指点的机器人协作）标明，与独自上班相比，LLM指点的同伴会降低人类的上班效率。这标明，基于LLM的智能体须要清楚改良，才干在实体义务中成为有效的协作同伴。PARTNR作为一个具备应战性的基准，凸显了模型的严重局限性。