数据才是AIGC的霸道！UltraEdit 基于指令的细粒度图像编辑数据集 万样本

一、概述

UltraEdit 是一种大规模的、智能生成的数据集，专门用于基于指令的图像编辑。该数据集蕴含了约万个编辑样本，笼罩了750,000个共同的指令，涵盖了9种以上的编辑类型。UltraEdit 的外围长处在于其应用大型言语模型（LLMs）的发明力和人类评价者提供的高低文编辑示例，提供了更宽泛的编辑指令；其数据源基于实在图像，包括照片和艺术作品，这比仅由文本到图像模型生成的数据集提供了更大的多样性并缩小了成见；此外，它还允许基于区域的编辑，并增强了高品质的智能生成区域注释。

名目地址：代码地址：论文地址：

成果：

代码中也给出了经过UltraEdit训练集训练的SD3的模型，并且提供了一个gradio的界面，我部署测试了下这个模型，全体来说成果还过得去，当然这个模型不是重点。

二、原理

外围点：

UltraEdit架构：

高品质图像生成的评价和挑选：

团体以为数据集的品质评价在UltraEdit数据集的构建环节中表演着最关键的角色，确保了生成的图像编辑样本合乎高规范的品质和准确性。为了保障数据集的品质，UltraEdit数据集做了如下上班：

1、智能化品质评价目的

2、生成环节的迭代与挑选

3、编辑区域的准确性

三、成果

数据集的对比

定性评价

四、小结

文章重要目的是构建精细化编辑的数据集，以下是重要关键点：

团体以为，这篇文章很有价值，由于数据才是AIGC最基础最须要做的上班，然而靠人工来整顿搜集还是效率太低了，结合大模型与文生图模型来做一局部数据整顿的上班简直不要太爽，然而如何保障生图的品质十分关键，一是生图模型有较好的成果，二是数据品质评价体系的建设能否完善。

原文链接:​ ​​ ​