1. 主页 > 教程 > AIGC教程:Stable Diffusion

Stable Diffusion再升级:学会以图生图!

点蓝色字关注“机器学习算法工程师

设为星标,干货直达!

Stability AI 很高兴地宣布推出 Stable Diffusion Reimagine!我们邀请用户通过 Stable Diffusion 尝试图像并“重新构想”他们的设计。

Stable Diffusion Reimagine 是一种新的 Clipdrop 工具,它允许用户无限制地生成单个图像的多个变体。无需复杂的提示:用户只需将图像上传到算法中即可创建任意数量的变体。

在下面的示例中,左上角的图像是输入该工具的原始文件,而其他图像是受原始文件启发的“重新构想”的作品。

您的卧室可以通过点击一个按钮来改变:

你也可以玩转时尚造型:

Clipdrop 还具有升级器功能,允许用户上传小图像并生成至少两倍细节级别的图像:

用法和限制

Stable Diffusion Reimagine 不会重新创建由原始输入驱动的图像。取而代之的是,Stable Diffusion Reimagine 创造了受原作启发的新图像。

这项技术有已知的局限性:它可以根据某些图像激发惊人的结果,而对其他图像产生不太令人印象深刻的结果。

我们在模型中安装了一个过滤器来阻止不适当的请求,但过滤器有时会屈服于误报或误报。

该模型有时也可能产生异常结果或表现出有偏见的行为。我们渴望收集用户反馈,以帮助我们正在进行的改进该系统和减轻这些偏见的工作。

技术

Stable Diffusion Reimagine 基于 stability.ai 创建的新算法。经典的文本到图像稳定扩散模型被训练为以文本输入为条件。

此版本用图像编码器替换了原始文本编码器。图像不是基于文本输入生成图像,而是从图像生成图像。在编码器通过算法后,添加一些噪声以产生变化。

这种方法会生成具有不同细节和构图的外观相似的图像。与图像到图像算法不同,源图像首先被完全编码。这意味着生成器不使用来自原始图像的单个像素。

Stable Diffusion Reimagine 的模型即将开源在:

https://github.com/Stability-AI/stablediffusion/

不难看出,Stable Diffusion Reimagine大概率是将CLIP text encoder换成了CLIP image encoder,类似DALLE2那样。

参考资料:https://stability.ai/blog/stable-diffusion-reimagine

推荐阅读

深入理解生成模型VAE

DropBlock的原理和实现

SOTA模型Swin Transformer是如何炼成的!

有码有颜!你要的生成模型VQ-VAE来了!

集成YYDS!让你的模型更快更准!

辅助模块加速收敛,精度大幅提升!移动端实时的NanoDet-Plus来了!

SimMIM:一种更简单的MIM方法

SSD的torchvision版本实现详解

机器学习算法工程师

                                    一个用心的公众号

本文由某某资讯网发布,不代表某某资讯网立场,转载联系作者并注明出处:http://www.nxfun.com/index.php?m=home&c=View&a=index&aid=979

联系我们

在线咨询:点击这里给我发消息

微信号:weixin888

工作日:9:30-18:30,节假日休息