低老本 高评价水平 智能化 首个智能化评价大模型的大模型PandaLM来了 可复现
大模型的开展堪称日新月异，指令微调方法犹如雨后春笋般涌现，少量所谓的 ChatGPT “平替” 大模型相继发布。在大模型的训练与运行开发中，开源、闭源以及自研等各类大模型实在才干的评测曾经成为提高研发效率与品质的关键环节。
详细来说，在大模型的训练和运行中，大家或许遇到过以下疑问：
1、在大模型微调或许增强预训练中经常使用了不同的基座和参数，依据观察到的样例成果，模型的表如今不同场景下各有优劣，如何确定在实践运行中经常使用哪个模型？
2、经常使用 ChatGPT 对模型输入启动评价，但是 ChatGPT 对相反输入在不同期间失掉的评价结果不同，究竟驳回哪个评价结果？
3、驳回人工标注对模型生成结果启动评测耗时费劲，在经费估算有限和期间紧迫的状况下，如何减速评价环节并降落老本？
4、在处置秘密数据时，不论用 ChatGPT/GPT4 还是标注公司启动模型评测都面临数据暴露疑问，如何保障数据安保？
基于这些疑问，来自北京大学、西湖大学等机构的钻研者联结提出了一种全新的大模型评价范式——PandaLM。PandaLM 经过训练一个专门用于评价的大模型，对大模型才干启动智能化且可复现的测实验证。PandaLM 于 4 月 30 日在 GitHub 上发布，是环球首个评价大模型的大模型。相关论文会在近期发布。
PandaLM 旨在经过训练使得大模型学习到人类对不同大模型生成文本的总体偏好，并作出基于偏好的相对评价，以代替人工或基于 API 的评价形式，降本增效。PandaLM 的权重齐全地下，可以在生产级配件上运转，配件门槛低。PandaLM 的评价结果牢靠，齐全可复现，并且能够包全数据安保，评价环节均可本地成功，十分适宜学术界和须要隐秘数据的单位经常使用。经常使用 PandaLM 十分繁难，只有三行代码即可调用。为验证 PandaLM 的评价才干，PandaLM 团队约请了三位专业标注员对不同大模型的输入启动独立的优劣判别，并构建了蕴含 50 个畛域、1000 个样本的多样化测试集。在此测试集上，PandaLM 的准确率到达了 ChatGPT 94% 的水平，且 PandaLM 发生了和人工标注相反的模型优劣论断。
PandaLM引见
目前，关键有两种形式来评价大型模型：
（1）经过调用第三方公司的 API 接口；
（2）雇用专家启动人工标注。
但是，将数据传送给第三方公司或许造成相似三星员工暴露代码的数据暴露疑问 [1]；而雇佣专家标注少量数据既耗时又低廉。一个亟待处置的疑问是：如何成功包全隐衷、牢靠、可复现及便宜的大模型评价？
为了克制这两个评价方法的局限，该钻研开发了 PandaLM，一个专门用于评价大型模型性能的裁判模型，并提供简便的接口，用户只有三行代码便可调用 PandaLM 成功隐衷包全、牢靠、可重复且经济的大型模型评价。关于 PandaLM 的训练细节，请参见开源名目。
为了验证 PandaLM 在评价大型模型方面的才干，钻研团队构建了一个蕴含约 1,000 个样本的多样化人工标注测试集，其高低文和标签均由人类生成。在测试数据集上，PandaLM-7B 在准确度到达了 ChatGPT（gpt-3.5-turbo）的 94% 的水平。
如何经常使用 PandaLM？
当两个不同的大型模型针对相反的指令和高低文发生不同的回应时，PandaLM 的指标是比拟这两个模型回应的品质，并输入比拟结果、比拟依据以及可供参考的回应。比拟结果有三种：回应 1 更优；回应 2 更优；回应 1 和回应 2 品质相当。在比拟多个大型模型的性能时，只有经常使用 PandaLM 启动两两比拟，而后汇总这些比拟结果来对模型的性能启动排名或绘制模型的偏序相关图。这样可以直观地剖析不同模型之间的性能差异。因为 PandaLM 仅需在本地部署，且不须要人工介入，因此可以以包全隐衷和低老本的形式启动评价。为了提供更好的可解释性，PandaLM 亦可用人造言语对其选用启动解释，并额外生成一组参考回应。
PandaLM不只支持经常使用 Web UI 以便于启动案例剖析，还支持三行代码调用 PandaLM 对恣意模型和数据生成的文本评价。思考到许多现有模型和框架或许不是开源的或难以在本地启动推理，PandaLM准许经过指定模型权新生成待评价文本，或间接传入蕴含待评价文本的 .json 文件。用户只有提供一个蕴含模型称号、HuggingFace 模型 ID 或 .json 文件门路的列表，即可应用 PandaLM 对用户定义的模型和输入数据启动评价。以下是一个极简的经常使用示例：
此外，为了让大家能够灵敏地运用 PandaLM 启动自在评价，钻研团队已在 HuggingFace 网站上地下了 PandaLM 的模型权重。经过以下命令，您可以轻松地加载 PandaLM-7B 模型：
PandaLM 的特点
PandaLM 的特点包括可复现性、智能化、隐衷包全、低老本及高评价水平等。
1. 可复现性：因为 PandaLM 的权重是地下的，即使言语模型输入存在随机性，但在固定随机种子后，PandaLM 的评价结果仍会坚持分歧。而依赖在线 API 的评价手腕因为更新不透明，其评价结果在不同期间或许不分歧，且随着模型迭代，API 中的旧版模型或许无法再访问，因此基于在线 API 的评测往往不具有可复现性。
2. 智能化、隐衷包全与低老本：用户只有在本地部署 PandaLM 模型，调用现成命令即可评价各类大模型，无需像雇佣专家那样需坚持实时沟通且担忧数据暴露疑问。同时，PandaLM 整个评价环节中不触及任何 API 费用以及劳务费用，十分便宜。
3. 评价水平：为验证 PandaLM 的牢靠性，该钻研雇佣了三名专家独立成功重复标注，创立了一团体工标注测试集。该测试集蕴含 50 个不同场景，每个场景下还蕴含多个义务。这个测试集是多样化、牢靠且与人类对文本的偏好相分歧的。测试集中的每个样本由指令与高低文，以及两个由不同大模型生成的回应组成，并由人类来比拟这两个回应的品质。
该钻研剔除了标注员间差异较大的样本，确保每个标注者在最终测试集上的 IAA（Inter Annotator Agreement）凑近 0.85。须要留意的是，PandaLM 训练集与该钻研创立的人工标注测试集齐全无堆叠。
这些被过滤的样本须要额外的常识或难以失掉的消息来辅佐判别，这使得人类也难以对它们启动准确标注。经过挑选的测试集蕴含 1000 个样本，而原始未经过滤的测试集蕴含 2500 个样本。测试集的散布为 {0：105，1：422，2：472}，其中，0 示意两个回应品质相似；1 示意回应 1 更好；2 示意回应 2 更好。
以人类测试集为基准，PandaLM 与 gpt-3.5-turbo 的性能对比如下：
可以看到，PandaLM-7B 在准确度上曾经到达了 gpt-3.5-turbo 94% 的水平，而在准确率，召回率，F1 分数上，PandaLM-7B 已于 gpt-3.5-turbo 相差无几。可以说，PandaLM-7B 曾经具有了与gpt-3.5-turbo相当的大模型评价才干。
除了在测试集上的准确度，准确率，召回率，F1 分数之外，该钻研还提供了 5 个大小相近且开源的大模型之间比拟的结果。该钻研首先经常使用了相反的训练数据对这个 5 个模型启动指令微调，接着用人类，gpt-3.5-turbo，PandaLM 对这 5 个模型区分启动两两比拟。下表中第一行第一个元组（72，28，11）示意有 72 个 LLaMA-7B 的回应比 Bloom-7B 的好，有 28 个 LLaMA-7B 的回应比 Bloom-7B 的差，两个模型有 11 个回应品质相似。因此在这个例子中，人类以为 LLaMA-7B 优于 Bloom-7B。上方三张表的结果说明人类，gpt-3.5-turbo 与 PandaLM-7B 关于各个模型之间优劣相关的判别齐全分歧。
基于以上三张表，该钻研生成了模型优劣的偏序图，这个偏序图造成了全序相关，可以示意为：LLaMA-7B > Bloom-7B > Pythia-6.9B > OPT-7B > Cerebras-GPT-6.7B。
总结
综上所述，PandaLM 为大模型评价提供了一种除人类评价与 第三方 API 之外的第三种选用。PandaLM 不只具有高评价水平，而且结果具有可复现性，评价流程高度智能化，同时包全隐衷且老本较低。钻研团队置信 PandaLM 将推进学术界和工业界对大模型的钻研，使更多人从大模型的开展中受益。欢迎大家关注 PandaLM 名目，更多的训练、测试细节、相关文章及后续上班都会发布在名目网址：
作者团队简介
作者团队中，王一栋* 来自北京大学软件工程国度工程中心（博士）和西湖大学（科研助理），于倬浩*、曾政然、蒋超亚、谢睿、叶蔚† 和张世琨† 来自北京大学软件工程国度工程中心，杨林易、王存翔和张岳† 来自西湖大学，衡强来自北卡莱罗纳州立大学，陈皓来自卡耐基梅隆大学，王晋东和谢幸来自微软亚洲钻研院。* 示意独特第一作者，† 示意独特通信作者。
