RAG 浅看引入自动消息助理优化大模型处置复杂推理义务的后劲

AssisTRAG经过集成一个 自动消息助手 来优化LLMs处置复杂推理义务的才干。该框架由两个重要组件构成： 一个解冻的主言语模型 和 一个可训练的助手言语模型 。

AssisTRAG与之前的RAG对比

1. 组件

可以看出，相比之前的RAG，该框架重要翻新点是引入一个Assistant LLM，上方详细看下助手言语模型配置。

2. AssisTRAG

AssisTRAG重要分为两个类别来处置复杂义务：记忆治理和常识治理。记忆治理触及整合和剖析来自外部内存的内容，而常识治理则并重于应用外部常识。这两个重要配置由AssisTRAG的四个外围才干允许：

2.1 记忆治理

记忆治理模块经过存储和检索历史交互来优化主言语模型的性能。有效的记忆治理包含两个重要环节： 捕捉新见地和检索先前存储的消息 。这两个环节重要有以下三个才干：

1. Action I: 笔记记载

笔记记载配置担任记载每个历史交互中的关键消息和推理形式。详细来说，给定主言语模型的历史交互（包含疑问、参考答案和生成的答案），助手的义务是将答案面前的关键推理环节记入记忆槽中：

这样，一切先前疑问的记忆槽累积起来构成助手的记忆，用于后续的记忆检索。

作用 ：经过记载和存储历史交互中的关键推理环节，助手能够在面对相似疑问时极速检索和运行这些推理形式，从而提高回答的品质和效率。

2. Tool I: 记忆检索器

记忆检索器应用助手的记忆，依据疑问检索历史上关系的记忆。详细来说，记忆检索器会检索与疑问关系的历史记忆，并将其示意为：

作用 ：经过从记忆中检索关系历史记忆，助手可以为疑问提供额外的高低文和消息，协助主言语模型更好地理解和回答疑问。

3. Plan I: 评价检索记忆的有用性

假设疑问是全新的，检索到的记忆或者不只无助于回答，还或者负面影响主言语模型的照应。因此，助手须要评价检索到的记忆能否对疑问有协助。详细来说，助手经常使用一个揭示来评价检索到的记忆能否有助于回答疑问。只要当答案是必需的时刻，检索到的记忆才会被提供应主言语模型。

成功：经过一个揭示，助手评价检索到的记忆能否对疑问有益。假设评价结果是必需的，这些记忆槽将被提供应主言语模型。

作用 ：这一方案确保了只要关系的记忆会被提供应主言语模型，防止了有关或负面的记忆搅扰回答的品质。

2.2 常识治理

常识治理触及以下四个才干：

1. 举措 II：疑问合成

2. 工具 II：常识检索器

3. 举措 III：常识提取

4. 方案 II：评价提取常识的关系性

2.3 AssisTRAG 训练

AssisTRAG 的训练环节分为 课程助理学习和强化偏好优化 两个阶段。课程学习阶段经过逐渐参与义务复杂性来优化助手在 RAG 环节中的技艺。强化偏好优化阶段则经过依据主 LLM 的反应调整助手的输入，确保助手提供的协助愈加贴合主 LLM 的需求。

2.4 AssisTRAG 推理

AssisTRAG 经过三个步骤启动其推理环节：

1. 消息检索与整合

在这个初始阶段，AssisTRAG 首先激活 Action II 来了解主 LLM 的消息需求。而后，它经常使用 Tool I 和 Tool II 区分从外部记忆和外部常识库中检索关系消息。接着，它调用 Action III 从检索到的文档中提取关键常识。

2. 决策

在这一阶段，AssisTRAG 选择能否将检索到的记忆和提取的常识提供应主 LLM。它激活 Plan I 和 Plan II 来评价这些检索到的记忆和常识对疑问的关系性和有用性。假设助手以为这些消息有协助，它们将被提供应主 LLM 以辅佐回答活成。

3. 回答活成与记忆降级

在最后阶段，AssisTRAG 揭示主 LLM 依据疑问、其外部常识和助手提供的消息生成答案。之后，AssisTRAG 激活 Action I，应用其笔记配置，捕捉交互中的关键推理步骤并将其归入其记忆中。这确保了助手的常识库坚持最新。

试验成果

参考文献

Boosting the Potential of Large Language Models with an Intelligent Information Assistant，

原文链接：​ ​​ ​