Class

1.Class-RAG 推出的背景

随着技术的开展，互联网上发生了越来越多的不良内容。过去，经常使用机器学习的方法来对内容启动情感分类、骚扰识别、恼恨舆论检测等。深度学习技术的开展推进了内容查看技术的开展。

但是，传统的模型微调方法在成功内容查看义务时，存在很多疑问：

• 首先，内容查看是一项高度客观的义务，象征着标注数据中标注人员之间的分歧性较低，或者是由于对政策指南存在不同的解读，尤其是在各种 Corner Case 上。

• 其次，无法能强迫推广通用的危害分类法，不只是由于义务的客观性，还由于系统拓展到新的地域、新的受众和新的用例时会发生影响，这些地域、受众和用例经常使用不同的查看要求。使得分类器必定继续微调，以顺应始终变动地安保危险。

针对以上疑问，联合大言语模型的开展，作者提出了一种新的内容查看的分类方法：Class-RAG，应用检索增强生成来启动内容分类。

2. Class-RAG 系统架构

上图是 Class-RAG 的流程示用意，由嵌入模型、检索库、检索模块以及微调的 LLM 分类器构成。

当用户输入查问时，经过嵌入模型向量化后，与检索库中的正负案例启动检索，检索出 K 个最近的参考案例，而后将参考案例和输入揭示给到微调的 LLM 启动分类。

2.1 嵌入模型

驳回 DRAGON RoBERTa 作为嵌入模型。

专门经常使用了 DRAGON 模型的高低文编码器组件。为摸索代替嵌入模型的影响，还评价了 WPIE（Whole Post Integrity Embedding）Meta（2021 年）的变体。测试的 WPIE 模型是一个在内容查看数据上预先训练的 4 层 XLM-R 模型，发生了两个不同的输入：不安保概率预计和揭示嵌入表示。

2.2 检索库

检索库由两个不同的子库组成：安保用例库和不安保用例库。

检索库中的每个条目都由四个属性来出现，包括：

-（1）揭示

-（2）标签

-（3）嵌入

-（4）解释

运用 K-Means 聚类算法，将安保案例按每个概念分为 7 个聚类，并从每个聚类中筛选出核心案例，归入安保子库。雷同的聚类方法也被用于搜集不安保案例。

共发生了 3,484 个安保案例和 3,566 个不安保案例，独特构成了散布内检索库。为了优化库对模型推理才干的协助，经常使用了 Llama3-70b 模型为每个案例生成解释性文本（见下图）。检索库中的每一条目都由四个属性组成：揭示、标签、解释和嵌入，这些属性在从库当选取一个参考案例时会一并被检索。

2.3 检索模块

给定所选的嵌入，借助 Faiss 库启动相似性搜查，从检索库中高效检索出两个最近的安保示例和两个最近的不安保示例。经常使用 L2 距离度量来计算输入嵌入与存储在检索库中的嵌入之间的相似度，从而能够识别出最关系的示例。

3 成果评价

3.1 分类功能及对反抗性攻打的持重性

对 Class-RAG 启动了片面测评，将其功能与两个基线模型 WPIE 和 LLAMA3 在 CoPro 同散布（ID）测试集和散布外（OOD）测试集上启动对比。

上表结果标明：Class-RAG 优于两个基线模型。值得留意的是，LLAMA3 和 Class-RAG 在同散布和散布外测试集上均取得了 AUPRC 分数 1，标明分类功能杰出。但是，Class-RAG（DRAGON RoBERTa）在反抗性攻打方面相较于 LLAMA3 展现出更强的持重性，凸显了其在存在混杂输入时坚持功能的才干。

3.2 对外部数据源的顺应才干

在内容查看（Class RAG）中经常使用 RAG 的重要要素是 RAG 能够使得系统极速顺应外部数据，而不须要从新训练模。为了验证这种顺应才干，作者在两个外部数据集上启动了顺应才干的评价。

上表结果标明，当仅依赖 ID 库时，Class-RAG 在 I2P++数据集上体现欠佳，AUPRC 分数（Area under the precision-recall curve）仅为 0.229。

ID 库：In-Distribution Library，指在特定数据散布内构建的检索库，它蕴含了与训练数据相似散布的样本。

但参与完整外部库的新参考示例， AUPRC 有清楚的 245%的优化，到达 0.791 分。此外，模型反抗反抗性攻打的功能也清楚提高，从 0.235 相对优化至 0.677，参与了 188%。在 UD 数据集上观察到相似的改良，AUPRC 分数从 0.917 优化至 0.985，反抗反抗性攻打的功能从 0.914 提高到 0.976。

3.3 遵照指令的才干

摸索 Class-RAG 遵照参考示例的指引并生成与这些示例相符的照应的才干。经常使用了带有翻转 ID 库的 测试集，该库蕴含与原始 ID 库相反的示例，但标签翻转（“不安保”→“安保”，“安保”→“不安保”）且删除了解释。

上图标明 Class-RAG 具备很强的遵照指令的才干。99.49%的实在安保示例的预测标签成功地从“安保”翻转至“不安保”，而 12.29%的实在不安保示例的预测标签从“不安保”翻转至“安保”。实在安保和不安保示例之间翻转比率的这种差异可归因于 Llama3 模型的安保微调，该模型旨在防止生成有害照应并且已记住了不安保的内容。

3.4 相关于检索库大小的功能可扩展性

检索库的规模对Class-RAG的功能有着清楚影响。

为了摸索库容量对功能的详细作用，制造了按比例缩减的外部库版本，区分标志为EX (1/8)、EX (1/4)和EX (1/2)，这些库是经过从新聚类完整外部库并缩减至原大小的1/8、1/4和1/2来构成的。

试验结果标明，随着检索库规模的扩展，模型的体现稳步优化。

在I2P++数据集上，随着外部库从无到完整规模的逐渐参与，AUPRC得分从0.235逐渐提高至0.677。

在UD数据集上，得分也出现出相似的增长趋向，从0.914增至0.974。

功能的优化与检索库的规模成正比，说明扩展库的规模是优化Class-RAG功能的有效路径。

由于检索库仅触及存储和索引的老本，相较于模型训练来说老本较低，因此，扩展检索库规模成为了一种既经济又高效优化模型功能的战略。

3.5 参考样本数量对功能的影响

区分引入了0个、2个、4个、6个和8个参考样本，并确保每组中安保与不安保的样本数量相等。

如上表所示，Class-RAG的功能随着参考样本的参与而稳步优化。

在I2P++数据集上，经常使用0个、2个、4个、6个和8个参考样本时，平均AUPRC得分区分为0.303、0.632、0.677、0.715和0.721。

在UD数据集上，随着参考样本的参与，平均AUPRC得分也从0.932优化至0.965、0.974、0.978和0.980。

当参考样本数量到达大概8个时，功能的优化开局趋于颠簸。

此外，与扩展检索库规模相比，参与更多的参考样本会带来更高的计算老本。

因此，只管参与参考样本数量能够优化功能，但必定思考到相应的计算开支，寻求平衡点。

3.6 嵌入模型对功能的影响

评价了两种不同的嵌入模型——DRAGON RoBERTa 与WPIE——对Class-RAG功能的影响。

如上表所示，DRAGON RoBERTa的嵌入成果优于WPIE。详细而言，DRAGON RoBERTa在ID测试集上成功了平均0.938的AUPRC，在OOD测试集上到达了0.920，均超越了WPIE的体现，后者在ID测试集上的平均AUPRC为0.912，在OOD测试集上则是0.901。

本文转载自​​，作者：