Stable Diffusion再升级:学会以图生图!
点蓝色字关注“机器学习算法工程师”
设为星标,干货直达!
Stability AI 很高兴地宣布推出 Stable Diffusion Reimagine!我们邀请用户通过 Stable Diffusion 尝试图像并“重新构想”他们的设计。
Stable Diffusion Reimagine 是一种新的 Clipdrop 工具,它允许用户无限制地生成单个图像的多个变体。无需复杂的提示:用户只需将图像上传到算法中即可创建任意数量的变体。
在下面的示例中,左上角的图像是输入该工具的原始文件,而其他图像是受原始文件启发的“重新构想”的作品。
您的卧室可以通过点击一个按钮来改变:你也可以玩转时尚造型:
Clipdrop 还具有升级器功能,允许用户上传小图像并生成至少两倍细节级别的图像:
用法和限制
Stable Diffusion Reimagine 不会重新创建由原始输入驱动的图像。取而代之的是,Stable Diffusion Reimagine 创造了受原作启发的新图像。
这项技术有已知的局限性:它可以根据某些图像激发惊人的结果,而对其他图像产生不太令人印象深刻的结果。
我们在模型中安装了一个过滤器来阻止不适当的请求,但过滤器有时会屈服于误报或误报。
该模型有时也可能产生异常结果或表现出有偏见的行为。我们渴望收集用户反馈,以帮助我们正在进行的改进该系统和减轻这些偏见的工作。
技术
Stable Diffusion Reimagine 基于 stability.ai 创建的新算法。经典的文本到图像稳定扩散模型被训练为以文本输入为条件。
此版本用图像编码器替换了原始文本编码器。图像不是基于文本输入生成图像,而是从图像生成图像。在编码器通过算法后,添加一些噪声以产生变化。
这种方法会生成具有不同细节和构图的外观相似的图像。与图像到图像算法不同,源图像首先被完全编码。这意味着生成器不使用来自原始图像的单个像素。
Stable Diffusion Reimagine 的模型即将开源在:
https://github.com/Stability-AI/stablediffusion/
不难看出,Stable Diffusion Reimagine大概率是将CLIP text encoder换成了CLIP image encoder,类似DALLE2那样。
参考资料:https://stability.ai/blog/stable-diffusion-reimagine推荐阅读
辅助模块加速收敛,精度大幅提升!移动端实时的NanoDet-Plus来了!
机器学习算法工程师
一个用心的公众号
本文由某某资讯网发布,不代表某某资讯网立场,转载联系作者并注明出处:http://www.nxfun.com/index.php?m=home&c=View&a=index&aid=979