P照片换背景不求人 ControlNet作者新作爆火 AI打光完美融入

ControlNet作者新作，玩儿得人直呼过瘾，刚开源就揽星1.2k。

用于操纵图像照明成果 的，全称lmposing Consistent Light。

玩法很便捷：

上行恣意一张图，系统会智能分别人物等主体，选用光源位置，填上揭示词，就能毫无破绽的融入新环境了！

连忙来个王家卫式的打光：

不青睐？

没相关，换成窗外打出去的人造光，也就分分钟的事。

目前，IC-Light提供两类模型： 文本条件重照明模型 ，还有 背景条件模型 。

两种模型都须要以前景图像作为输入。

鉴于之前Controlnet太好玩儿，这次IC-Light一发生就颇受关注，还有网友迅速做出了ComfyUI插件。

（纳闷，大家这么拼，都不睡觉的吗？？）

不论是等候值还是用后体验，网友给得都很高：

谁能帮我把这图换个背景？

从远古MCN到贴吧再到如今小红书，各个时代，都不乏“谁能帮我换张背景”这种求助贴。

但热心网友的协助，往往是这样子的：

就离谱。

不过说真假话，这种需求不只存在于你我个别人之间，电商做商品海报，也经常有相似的需求。

有了IC-Light，如同一切都变得便捷起来。

上行主体原图+选用光源位置+揭示词 ，完事儿。

来看成果——

这样一张佛像原图，加上揭示词“佛像、粗疏的脸部、科幻RGB发光、赛博朋克”，再选用“光从左侧打来”。

就能获取一张崭新的成品：

哪怕是日常场景也是实用的。

最后出的成果肉眼看还是比拟人造：

依据网友分享的测评，动漫场景也实用……

面前技术

如前所说，IC-Light如今提供两类模型，两种模型都须要以前景图像作为输入。

一类是 文本条件重照明模型 。

便捷来说就是用户可以经过输入揭示词来搞定生成。

比如输入“左侧光线”“月光”等，模型会经过这些揭示词和初始潜变量，来生成合乎要求和特色的图像。

另一类是 背景条件模型 。

这种就更便捷了，不须要复杂的揭示词，模型联合背景揭示消息，对前景的物体启动不同格调的光照变动。

而其面前的技术原理，是 经过潜在空间的分歧性，确保模型输入在不同光源组合下具备分歧性，从而可以稳固地分解各种光照成果 。

详细如下——

在HDR空间中，一切照明的光线传输都彼此独立，不同光源的外观混合成果与多光源间接作用下的外观在数学上（也就是现实形态下）是分歧的。

以上方这张图的灯光阶段为例，来自“外观混合”和“光源混合”的两个图像是分歧的，（现实状况下，在HDR空间中数学下等效）。

因此，在训练从新照明模型时，钻研人员在潜在空间中经常使用多层感知机（MLP）让不同光源的组合和传输具备分歧性，并用来指点生功成果。

最终发生高度分歧的从新光照成果。

因为模型经常使用了潜在分散技术，因此可以在潜在空间内成功学习和重光照操作，从而在各种光照条件下发生高度分歧的成果。

这些结果十分分歧——虽然在训练时，模型没有间接经常使用法线图数据，但可以将不同的从新光照兼并为法线贴图。

看上方这张图，从左到右依次是输入、模型输入、从新照明、宰割的阴影图像和兼并的法线贴图。

感兴味的小同伴可以返回上方地址试玩儿哟～

GitHub直通车：​​ ​​ ​

原文链接:​ ​​ ​