今天我们继续回归 AI 绘画,Sora 我们就等它真正开放以后再来分享了。
回到 AI 绘画呢,我们就来说说最近 stabilityAI 发布的一款新型绘画软件 stable cascade。
按官方的意思呢,反正就是比 sdxl 更优秀,速度更快、出图质量更高,内存更省。
刚好最近 ComfyUI 官方已经更新了支持 stable cascade 模型的节点,我们就来一起看看怎么部署吧!
首先我们需要把 ComfyUI 更新到最新版本:
如果用的是官方版本,则直接打开 ComfyUI 管理器,点击 更新 ComfyUI 就可以了。
如果用的是秋叶版本,直接点击 版本管理,然后切换到最新版本就可以了。
更新到最新版本以后,我们还需要下载 stable cascade 所需要的模型。模型听雨已经放在文末的网盘中了,当然小伙伴们也可以直接在 ComfyUI 管理器中下载。
点击安装安装模型。
在搜索栏中搜索「Stable Cascade」即可下载。下载太慢的话,小伙伴们直接用听雨网盘中的模型即可。
使用听雨网盘中模型的小伙伴可以把模型放入对应的文件夹中:
\ComfyUI\models\unet
\ComfyUI\models\vae
\ComfyUI\models\clip
模型放置好以后,我们直接使用 stable cascade 对应的工作流就可以了,工作流文件听雨也会放文末的网盘中。
工作流大致是这样的。
加载工作流以后,如果模型放置正确的话,以下四个加载器的模型应该都可以加载正确,如果模型没有加载出来,可以点一下 ComfyUI 界面右边功能栏中的 重刷新 按钮。
工作流中的其他节点参数保持默认就可以,当然大多数的参数我们应该也都认识了,这里也不多说了。
这里说一下 UNET加载器,这里有两个 UNET加载器,点击的时候,我们下载的 b 模型和 c 模型都可以选择。
但是这里需要注意一下, UNET加载器1 只能选择 b 模型,UNET加载器2 只能选择 c 模型,要不然就会报错哦!
然后可以看到 b 和 c 模型都有好几种选择,对应的是出图占用的显存大小。
「stage_b.safetensors」所占用的显存最大,「stage_b_lite_bf16.safetensors」所占用的显存最小,理论上 6G 显存就可以跑了,当然相应的出图的质量也会差一些。
c 模型也是一样的。
这个工作流就介绍完了,条件允许的小伙伴可以自己下载下来尝试一下!
然后说下听雨的体验哈:
出图速度的提升上面,如果按照官方的意思,stable cascade的30步 对应 sdxl的50 步,听雨试了一下,使用 stable cascade 的模型越小,速度越快,最小的模型出图时间只需要 sdxl 的一半。
不过从「stage_b_bf16.safetensors」开始,出图速度上就没有什么优势了。
显存上,最小的模型生成 1024*1024 的图片显存占用峰值不到 6G,这个内存的占用的确是变小了。
然后我们再来看看 stable cascade的30步,对应 sdxl的50步 的出图效果吧!
左边是 stable cascade 出图,右边是 sdxl 基础模型出图。
提示词:beautiful scenery nature glass bottle landscape, , purple galaxy bottle,
提示词:A delicious feijoada ramen dish
提示词:flower magic, focus on an elaborate ring, jewelry, ring, (intricate details), (hyperdetailed), 8k hdr, high detailed, lot of details, high quality, soft cinematic light, dramatic atmosphere, atmospheric perspective
提示词:An astronaut rides a red pig
提示词:The sprirt of a Tamagotchi wandering in the city of Chinese style streets
总的来说,画面更显真实,出图质量以及美感的确也是有提升的。
不过这只是和 SDXL 基础模型比较哈,和 SDXL 基础上训练而来的模型相比可能就没啥优势了,期待一下以 stable cascade 训练出来的大模型吧!
暂无评论内容