复旦颁布InstructUIE优化大模型消息抽取才干 大模型时代消息抽取义务该何去何从

一、概述

Title: InstructUIE: Multi-task Instruction Tuning for Unified Information Extraction

Paper:

1Motivation

大言语模型解锁了十分强的多义务才干，然而大模型在消息抽取义务上体现比拟差，例如gpt-3.5-turbo在Ontonotes数据集上的f1只要18.22。

2.1 全体结构

说明：

1）基于Instruction tuning技术，成功了一个消息抽取的一致框架，可以成功各式各样的消息抽取义务，并且能开掘外部义务之间的依赖相关。

2）将三大消息抽取义务都转化成Multi-Task Instruction Tuning的方式来处置。每个部分包含Instruction，Options，text三个输入，并且依照特定格局输入最终结果。

2.2 引入辅佐义务（子义务）提高精度

说明：为了在更细粒度的水平上提高功能，设计了与关键义务一同训练的辅佐义务，其中关于实体抽取、相关抽取、事情抽取区分设置了不同的辅佐义务。概略如下：

2.3 prompts样例

说明：prompts中依照不同的义务给出instructions，并且给出输入格局要求

2.4 提出了新的评测benchmark

提出了IE INSTRUCTIONS，32个不同消息提取数据集的基准（benchmark），驳回一致的文本到文本格局，带有有专家编写的instructions，用于评测本文方法的有效性。

3 Conclusion

1000个样本监视学习：取得了和BERT监视学习可比拟的一个成果。

zero-shot：在zero-shot的才干上取得了sota，比gpt3.5sota也好得多。

二、具体内容

1 与UIE以及USM等方法对比

不同方法优缺陷总结：

1）LMM：例如chatgpt等大模型在IE义务中体现不佳，本文提出InstructUIE探求大模型处置消息抽取新范式。

2）UIE：text-to-structure，关于不同的下游义务，须要独自启动finetune，遇到新label schema或许低资源状况下成果比拟差。

3）USM: 是一个一致的IE义务框架，它将IE义务转换为se-mantic婚配疑问。缺陷一：它将IE转换为语义婚配义务，这使得很难与生成言语模型集成。缺陷二：该方法要求对每个单词启动语义婚配，这造成训练和推理期间清楚参与。

2 Experiments

2.1 有监视学习（每个数据集10000样本）

实体抽取结果：

相关抽取和事情抽取结果：

论断：

1. NER：一切数据集都只要1万的训练集，平均F1 85%，超越了BERT的80%，20个义务有17个都超越BERT，很多超越了5个点，最多超越25个点，落败的数据集上训练集只要他人的20%，然而模型比BERT大很多。

2. RE：平均f1: 67.98%。

3. EE：Event trigger f1: 71.69%，Event Argument F1 metric，比UIE和SUM都好很多。

试验设置概略：

1）Backbone：11B TlanT5

2）Dataset：IE INSTRUCTIONS触及三种消息抽取义务，named entity extraction, relation extraction, and event extraction，每个数据集sample10000数据

3）对比Baseline：UIE：text-to-structure generation framework，USM：将IE义务转化成语义婚配义务，BERT

4）Metrics：Micro-F1，NER：实体边界和类型都要对，RE：主实体，副实体，相关都要对。EE事情触发：触发类型和触发词都要对，事情参数：role type 和 event type婚配

2.2 few-shot结果（非训练集评测）

论断：

2.3 与chatgpt对比

论断：在消息抽取义务上，比chatgpt成果要好十分多

三、总结

四、参考

[1] Wang X, Zhou W, Zu C, et al. InstructUIE: Multi-task Instruction Tuning for Unified Information Extraction[J]. arXiv preprint arXiv:2304.08085, 2023.