Stable Diffusion模型引领新绘画潮流:打破创作界限

今天我们继续回归 AI 绘画,Sora 我们就等它真正开放以后再来分享了。

回到 AI 绘画呢,我们就来说说最近 stabilityAI 发布的一款新型绘画软件 stable cascade。

按官方的意思呢,反正就是比 sdxl 更优秀,速度更快、出图质量更高,内存更省。

刚好最近 ComfyUI 官方已经更新了支持 stable cascade 模型的节点,我们就来一起看看怎么部署吧!

首先我们需要把 ComfyUI 更新到最新版本:

如果用的是官方版本,则直接打开 ComfyUI 管理器,点击 更新 ComfyUI 就可以了。

图片[1]-Stable Diffusion模型引领新绘画潮流:打破创作界限

如果用的是秋叶版本,直接点击 版本管理,然后切换到最新版本就可以了。

图片[2]-Stable Diffusion模型引领新绘画潮流:打破创作界限

更新到最新版本以后,我们还需要下载 stable cascade 所需要的模型。模型听雨已经放在文末的网盘中了,当然小伙伴们也可以直接在 ComfyUI 管理器中下载。

点击安装安装模型。

图片[3]-Stable Diffusion模型引领新绘画潮流:打破创作界限

在搜索栏中搜索「Stable Cascade」即可下载。下载太慢的话,小伙伴们直接用听雨网盘中的模型即可。

图片[4]-Stable Diffusion模型引领新绘画潮流:打破创作界限

使用听雨网盘中模型的小伙伴可以把模型放入对应的文件夹中:

图片[5]-Stable Diffusion模型引领新绘画潮流:打破创作界限

\ComfyUI\models\unet

图片[6]-Stable Diffusion模型引领新绘画潮流:打破创作界限

\ComfyUI\models\vae

图片[7]-Stable Diffusion模型引领新绘画潮流:打破创作界限

\ComfyUI\models\clip

图片[8]-Stable Diffusion模型引领新绘画潮流:打破创作界限

模型放置好以后,我们直接使用 stable cascade 对应的工作流就可以了,工作流文件听雨也会放文末的网盘中。

工作流大致是这样的。

图片[9]-Stable Diffusion模型引领新绘画潮流:打破创作界限

加载工作流以后,如果模型放置正确的话,以下四个加载器的模型应该都可以加载正确,如果模型没有加载出来,可以点一下 ComfyUI 界面右边功能栏中的 重刷新 按钮。

图片[10]-Stable Diffusion模型引领新绘画潮流:打破创作界限

工作流中的其他节点参数保持默认就可以,当然大多数的参数我们应该也都认识了,这里也不多说了。

这里说一下 UNET加载器,这里有两个 UNET加载器,点击的时候,我们下载的 b 模型和 c 模型都可以选择。

但是这里需要注意一下, UNET加载器1 只能选择 b 模型,UNET加载器2 只能选择 c 模型,要不然就会报错哦!

然后可以看到 b 和 c 模型都有好几种选择,对应的是出图占用的显存大小。

「stage_b.safetensors」所占用的显存最大,「stage_b_lite_bf16.safetensors」所占用的显存最小,理论上 6G 显存就可以跑了,当然相应的出图的质量也会差一些。

c 模型也是一样的。

图片[11]-Stable Diffusion模型引领新绘画潮流:打破创作界限

这个工作流就介绍完了,条件允许的小伙伴可以自己下载下来尝试一下!

然后说下听雨的体验哈:

出图速度的提升上面,如果按照官方的意思,stable cascade的30步 对应 sdxl的50 步,听雨试了一下,使用 stable cascade 的模型越小,速度越快,最小的模型出图时间只需要 sdxl 的一半。

不过从「stage_b_bf16.safetensors」开始,出图速度上就没有什么优势了。

显存上,最小的模型生成 1024*1024 的图片显存占用峰值不到 6G,这个内存的占用的确是变小了。

图片[12]-Stable Diffusion模型引领新绘画潮流:打破创作界限

然后我们再来看看 stable cascade的30步,对应 sdxl的50步 的出图效果吧!

左边是 stable cascade 出图,右边是 sdxl 基础模型出图。

提示词:beautiful scenery nature glass bottle landscape, , purple galaxy bottle,

图片[13]-Stable Diffusion模型引领新绘画潮流:打破创作界限

提示词:A delicious feijoada ramen dish

图片[14]-Stable Diffusion模型引领新绘画潮流:打破创作界限

提示词:flower magic, focus on an elaborate ring, jewelry, ring, (intricate details), (hyperdetailed), 8k hdr, high detailed, lot of details, high quality, soft cinematic light, dramatic atmosphere, atmospheric perspective

图片[15]-Stable Diffusion模型引领新绘画潮流:打破创作界限

提示词:An astronaut rides a red pig

图片[16]-Stable Diffusion模型引领新绘画潮流:打破创作界限

提示词:The sprirt of a Tamagotchi wandering in the city of Chinese style streets

图片[17]-Stable Diffusion模型引领新绘画潮流:打破创作界限

总的来说,画面更显真实,出图质量以及美感的确也是有提升的。

不过这只是和 SDXL 基础模型比较哈,和 SDXL 基础上训练而来的模型相比可能就没啥优势了,期待一下以 stable cascade 训练出来的大模型吧!

© 版权声明
THE END
喜欢就支持一下吧
点赞9 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容