再谈大模型上班流技术之

在之前的文章中写了一篇关于ComfyUI上班流的文章，​ ​大模型之视频图像生成之上班流——ComfyUI和AI炼丹师​ ​，不过在此之前对上班流并不相熟；本着先记上去再说的理念就有了之前的这篇文章。

而最近在做一款AIGC产品的环节中，重要担任的就是Comfyui上班流这块；本着要知其然，也要知其所以然的心态，因此向公司的炼丹师求教了一下ComfyUI上班流的上班原理以及上班流程。

ComfyUI的上班原理以及流程

首先要申明一个误区，ComfyUI是一款针关于视频生成Stable Diffusion开发的一个UI工具，但这并不代表着ComfyUI就是Stable Diffusion公司开发的，它是一个开源名目，github地址如下。

或者很多人都据说过ComfyUI，但很少有人深化了解过ComfyUI框架，那么究竟什么是ComfyUI?

其实便捷来说，ComfyUI就是一款用来性能上班流的可视化工具，展现方式是web页面，用户可以经过这个工具性能上班流，以此到达特定的目标；比如生成一个特定格调的图片或视频等。

所以一句话概括，ComfyUI就是一个上班流性能工具。

假设不知道什么是上班流的读者，可以自行度娘一下。

既然明确了ComfyUI是一个上班流性能工具，那它的上班原理是什么呢？

理想上，ComfyUI是经过一个叫做节点的物品来性能上班流的，经过对不同的节点启动性能，使得业务可以依照上班流性能的流程去口头。

而ComyUI由于是真的大模型技术而开发的，因此它允许在节点中性能不同的大模型来成功不同的目标和成果。

比如，在传统的AIGC成功环节中，要想成功一个视频生成的性能，那么就须要找到一个视频生成大模型，比如openAI提供的Sora。

而对大模型技术有过了解的人应该都知道，不论什么大模型都会有其长于和不长于的一面，毕竟通用大模型还没成功。因此，假设你想经常使用一个视频生成模型来生成多种不同格调的视频，那么其成果或者就大打折扣了。

比如，你要想让一个视频生成模型即可以生成古风视频，又可以生成现代视频，又可以生成未来的视频，同时又要求高品质生成，这样的模型或者并不存在。

那么，普通的处置方法是什么？

经过从新训练或微调的方式，来让大模型生成不同格调的视频，为不同的格调微调不同的大模型。

但咱们知道，由于大模型训练和微调渺小的老本压力，这种方式显然是不理想的。那么应该怎样处置呢？

这时就可以换一种方式，那就是为每种格调的视频，都找到一个开源的模型，这个疑问人造就处置了。

但只管不同格调的视频生成处置了，但面对如此多的视频格调，团体或企业要怎样保养？假设假设须要多个模型启动配合该怎样办？而且有新人出去，难道要一个一个地教他们怎样经常使用不同格调的模型。

因此，这时ComfyUI的作用就表现进去了，首先ComfyUI可以经过性能的方式，性能一个固定的上班流，其中调用在须要的节点调用适合的大模型。这样，再想生成雷同格调的视频，就可以间接经常使用这个上班流即可。

其次，ComfyUI经过在不同的节点性能不同的大模型，就可以到达让多个大模型单干的成果。这样只有要一个弱小的视频生成模型，配合不同的格调的小模型就可以到达生成多种格调视频的目标。

那么，ComfyUI是怎样上班的呢？

首先，ComfyUI是一个B/S结构的上班流框架，B/S结构是基于阅读器和主机的形式；用户可以经过在本地或远程主机上装置ComfyUI框架，那么用户就可以间接经过阅读器方式ComfyUI服务端。

其次，炼丹师依据详细的业务要求，经过节点性能ComfyUI上班流；最终，此上班流会被保留为一个JSON文件，这样开发人员就可以经过这个JSON文件，经过修正其参数的方式，来调用ComfyUI接口来生成不同格调的内容。

原文链接：​ ​​ ​​