最高1410亿参数 公用于法律的两个开源大模型

法国国度初等教育计算中心、巴黎萨克雷大学的钻研人员联结开源了公用于法律畛域的大模型——SaulLM。

SaulLM一共有540亿、1410亿两种参数，以及基础模型和指令微调两种版本。SaulLM的最大特征是经常使用了5亿token的专业法律数据启动了预训练，包含美国、欧洲、澳大利亚等地的法律文本，输入内容的准确率高于很多同类模型。

开源地址：

指令微调：

SaulLM-54B和SaulLM-141B是基于Mixtral系列模型开发而成，经过引入专家混合（MoE）机制，清楚优化了模型解决少量数据的才干。

MoE架构的外围现实是将大型模型分解为多个小型专家网络，这些专家可以依据输入数据的不同特点被灵活地激活。这种方法不只提高了模型的计算效率，还增强了模型解决复杂法律文本的才干。

SaulLM-54B由32层组成，模型维度为4096，暗藏维度为14336；而SaulLM-141B则由56层导致，模型维度增至6144，暗藏维度到达16384。使得两个模型最多能允许长达32768和65536个token的高低文长度。

钻研人员经常使用了分段战略来训练SaulLM模型，包含继续预训练、专业法律指令遵照协定的实施，以及模型输入与人类偏好的对齐。

第一步经常使用了超越5亿token的专业法律语料库对模型启动预训练，盖了来自不同法律体系的宽泛文本，包含美国、欧洲、澳大利亚等地的法律文献。

在预训练环节中，钻研人员驳回了AdamW优化器，并设置了特定的学习速率和梯度累积战略，以优化模型的学习效率和稳固性。此外，为了应答模型在训练环节中或者产生的劫难性忘记等疑问，钻研团队还引入了重放战略，从新引入早期训练散布中的数据，以增强模型的记忆才干。

法律畛域对大模型输入内容的准确性和专业性要求极高。为了优化模型在法律义务上的体现，钻研人员经常使用了专业法律指令遵照协定，训练模型了解和口头法律场景中的指令。

在这一阶段，模型接受了包含法律剖析、案件总结、法规解读等多种法律相关义务的训练。经过这种形式，模型学会了如何依据法律专家的需求，提供准确和相关的消息。

为了使模型的输入愈加合乎法律专业人士的希冀和偏好，经常使用了模型输入与人类偏好的对齐方法。重要经常使用了分解数据和人类反应来调整模型的输入。分解数据的生成是基于模型的自我对话，模拟法律专家在剖析案件时或者提出的疑问和答案。经过这种形式，模型能够学习到法律推理的深层逻辑和结构。

同时，钻研人员还引入了人类反应机制，经过评价模型输入的准确性、相关性和逻辑分歧性，进一步优化模型的功能。

钻研人员在专业法律基准测试平台LegalBench - Instruct 和多基准平台MMLU上对模型启动了综合评价。

试验结果显示， SaulLM – 54B优于 Mixtral - 54B，SaulLM -141B也优于Mixtral - 141B，比GPT-4、Llama-3也愈加杰出。此外，继续预训练清楚增强了模型在法律畛域的功能，在 IFT和 DPO阶段都有大概 7% 的清楚优化。

原文链接:​ ​​ ​