阿里RAG新框架R4 增强检索器

大型言语模型（LLMs）在生成文本时或者会发生失误消息，即“幻觉”疑问。虽然检索增强的LLMs经过检索外部数据来缩小这种幻觉，但现有的方法理论不思考检索文档与LLMs之间的细粒度结构语义交互，这在处置长文档时尤其影响回答的准确性。

不同的检索增强方法范式，包括传统的检索器-照应器方法和增强检索器-重排序-照应器框架。强调了学习关键检索文档的排序结构的关键性，以协助LLMs更好地处置与理想知知趣关的用户查问。

为了处置这一疑问，提出了一个新的大模型RAG框架R4：Reinforced Retriever-Reorder-Responder（增强检索器-重排序-照应器），它蕴含三个关键模块：

R4概览。文档顺序调整：依据反应，文档在簇中的位置会灵活调整。文档表示增强：文档表示会依据训练损失的权重梯度启动降级（黑白检查效果最佳）。

详细环节包括：

在R4框架内，查问和检索到的文档之间异构图构建环节的示用意。

试验经常使用了3类义务5个数据集，包括生成式问答（Generative QA）、多项选用问答（Multi-choice QA）和对话（Dialogue）义务。

R4模型在公共数据集上的总体结果。T测验标明，R4上班改良在统计上是清楚的，p值<0.05。

Reinforced Retriever-Reorder-Responder for Retrieval-Augmented Large Language Modelscode：paper录用后会颁布