Cooperate！ 一文读懂大模型协作战略 Ensemble Merge

大型言语模型（LLMs）时代协作战略是一个新兴钻研畛域，协作战略可以分为三种关键方法：兼并（Merging）、集成（Ensemble）和协作（Cooperation）。

每个模型都有其共同的长处，这种多样性促成了这些模型之间的协作钻研

虽然LLMs经过ICL和指令追随在各种义务上体现出弱小的多样性，但不同的LLMs在训练语料库和模型架构上的差异造成它们在不同义务上有不同的长处和劣势，有效的协作可以施展它们的综合后劲。

对大型言语模型（LLM）协作的关键分类

LLMs协作方法的分类：

不同协作战略的示用意，图中的每种生物代表一个不同的大型言语模型（LLM）

兼并（Merging）方法

兼并战略旨在经过在参数空间中整合多个模型来创立一个一致的、更弱小的模型：

集成（Ensemble）方法

集成方法是一种经过结合多个模型的输入来提高全体功能的战略，讨论了在推理前、推理中和推理后启动集成的不同方法，以及它们如何影响推理速度、集成粒度和面临的限度。

在推理之前（a）、推理时期（b）和推理之后（c）的大型言语模型（LLM）集成方法的示用意。

协作（Cooperation）方法

在大型言语模型（LLMs）的时代，协作战略不只仅局限于便捷的兼并或集成。越来越多的钻研正专一于经过LLMs之间的协作来处置各种疑问或特定义务的更宽泛方法，依据指标可以分为不同协作战略：

大型言语模型（LLMs）与紧缩模块协作启动输入紧缩

大型言语模型（LLMs）与草稿生成器协作启动推测性解码

大型言语模型（LLMs）在联邦学习中与客户端模型协作

Ensemble, and Cooperate! A Survey on Collaborative Strategies in the Era of Large Language Models

本文转载自​ ​PaperAgent​ ​