使用 ComflowySpace 快速体验 StableDiffusion3 绘图
最近 StableDiffusion3 没有发布开源模型但开放了 API,-Zho-(@ZHOZHO672070) 很快就做出了 ComfyUI 使用 SD3 API 绘图的插件。本文将带大家使用 ComflowySpace 和这个扩展快速体验 SD3。
文章开始之前先感谢 @Jimmy Wong 和 @ZHOZHO672070,他们分别是 Comflowy 和 ComfyUI-StableDiffusion3-API 插件的作者✨,请大家多多关注两位牛人!
前言
首先介绍一下工具,为一些没用过我提到工具的小伙伴简单普及一下小知识。
ComfyUI
ComfyUI 是一个用于 Stable Diffusion 绘图模型的图形界面,通过节点和图形界面,用户可以设计和执行复杂的图像生成流程。它支持多种版本的 Stable Diffusion,包括 SD1.x、SD2.x 和 SDXL,并允许用户通过拖拽节点来自定义工作流程。
这个工具很强大,但有个小问题就是部署和使用有一定小门槛,不高但有。
ComflowySpace
Comflowy Space 是一个提供更友好UI/UX的 AI 图像和视频生成工具的平台,旨在解决传统工具如 WebUI 和 ComfyUI 使用门槛高的问题。
它为 ComfyUI 和 Stable Diffusion 产品提供了简化的下载、安装、插件管理和流程编辑等功能,强调便捷的安装过程、高效的使用体验、简单的设置方法和更友好的用户体验。所以理论上,可以兼容 ComfyUI 的所有插件!🤔
具体详情可访问Comflowy Space 官网。
点击Comflowy VS ComfyUI查看更详细的对比!
安装 ComflowySpace
安装非常简单,不用自己配置 python 环境,下载安装包直接运行就好,第一次运行会需要一定时间,它后台会自动配置好模型运行的环境以及各种组件,基本是拿来即用的感觉。
官网提供了 macOS 和 Windows 两种版本的安装包。
下载自己使用系统的安装包,我这里使用的是 m1 pro 芯片的 MBP,所以我下载 Mac M 版本
下载后解压安装即可。
初次运行,会看到 Comflowy Space 开始安装配置一些东西,网络好的情况下不会太久,喝个咖啡☕️或干点其他的事情等着就好,成功后如下:
可以看到有以下菜单项:
- WorkFlow:我们自己的工作流放在这里
- Templates:可以找到一些现成的工作流模板,方便我尝试使用
- Models:可以下载一些 Comflowy 准备的模型
- Extensions:管理安装插件(扩展)
- Tutorials:可以查看官方详细的教程
这里不做过多介绍,可以抽时间看一下教程,按照后面本文的操作在不了解的情况下大概率也能成功。
安装 ComfyUI-StableDiffusion3-API
插件链接:https://github.com/ZHO-ZHO-ZHO/ComfyUI-StableDiffusion3-API
ComflowySpace 中选择 Extensions 菜单,点击右上角的【Install from Github URL】,将上面的地址复制到输入框,点击【Install】,稍等片刻即可安装好。
安装好后的 ComfyUI-StableDiffusion3-API 就会出现在 Installed Extensions 的列表中。
获取 SD3 API Key
我们还需要获取 Stability 的官方 API 调用需要的 API Key,访问:https://platform.stability.ai/account/keys,如果你已经注册账号登录即可,如果没有注册可以使用 google 账号快速登录,登录后就能看到 API Keys 页面,也就能看到自己的 Key,如果没有新增即可!
复制这个 Key后面需要配置到 ComfyUI-StableDiffusion3-API 插件。
这里简单说一下 API 的额度情况,刚开始注册使用会有 25 个额度,绘图 API 调用不同模型耗费的额度不同,如下表:
🚨注意
充值 $10 可以获得 1000 额度,也就是说可以使用 SD3 绘制 153 张图片,大概不到 ¥0.5(人民币)一张图片。
配置插件
需要到插件安装目录修改插件配置文件的 API Key,才能使用插件绘图。
插件目录
打开 ComflowySpace,找到边栏最下面的第二个按钮 【ComfyUI Process Terminal】点击,能看到底层启动 ComfyUI 的日志,其中就能找到加载插件的信息,对应能确定插件目录,我这里是:
/Users/5km/comflowy/ComfyUI/custom_nodes/ComfyUI-StableDiffusion3-API
,复制这个路径。
修改配置
打开 Finder(访达),敲快捷键 ⇧⌘G
,粘贴刚才的路径,敲↩︎
键,就能进入插件目录,打开文件config.json
,修改其中的 STABILITY_KEY 的值为上面👆获取的 SD3 API Key。
保存后我们就可以创建简单的工作流开始绘图了。
SD3 工作流
选择 ComflowySpace 的 Workflows 菜单,点击【New Workflow】按钮,按照如下视频操作步骤完成工作流的创建,只有两个简单的节点。
可以看到 SD3_Zho 节点有以下配置项:
- prompt(正向提示词):这里填写要绘制的内容,访问SD Prompt 基础可以了解基本的撰写原则;
- negative prompt(反向提示词):大概就是告诉模型不要绘制什么;
- aspect_ratio:图片比例,有多种选择;
- mode:模式,支持文生图/图生图两种模式;
- model:支持两种模型,SD3 和 SD3-turbo,turbo 模型绘制的快但质量不如 SD3;
- seed:随机种子,保证绘图一致性的时候会用到,一般不用关心这个;
- control_after_generated:随机种子的变化规则,暂时保留原始选择即可,后续可按需调整;
- strength:这个参数用于图生图,相当于去噪,表征的是原图对生成图像的影响,为 0 时生成与传入的图完全一致的图,为 1 时只跟原图没有任何关系。
参考:SD3 API 官方说明
其中,对于文生图来说 prompt 和 aspect_ratio 是必须的参数,而对于图生图,还必须有 image 和 strength 参数,其余的参数都是可选参数(可以不设置)。
SD3 绘图
我们这里就简单一试个文生图,对应参数如下:
我打算生成一个毛绒绒的可爱红色海燕抱着一个牌子,上面写着“welcome to 5km studio”,使用 C4D/Blender 的图像风格。
生成结果如下:
你也赶快试一下吧,用英文的提示词会更好一些。整体效果还不错,达到了我的预期。生成的图片可以在 ComfyUI 中的 output 目录中找到,比如我的是 /Users/5km/comflowy/ComfyUI/output
,这篇文章的 banner 图就是用 SD3 绘制的。
我用同样的提示词在 ChatGPT 中使用 DALLE3 绘制结果如下,怎么讲呢!我更喜欢 DALLE3 生成的感觉,但是 SD3 对文本的控制比 DALLE3 好:
这是是初步使用,没法得出谁好谁坏的结论,这个由你来判断吧🤪,各有千秋、难分伯仲!
总结
按照本文操作下来,不知道你得到想要的图片了吗?想必 SD3 怎么样你的心里有了初步答案。
其实一直到这里,我们都不需要下载模型在本地运行,所以本文的方式对电脑配置要求很低,毕竟只是调用 API 嘛!哈哈哈~😝如果你的电脑 GPU 性能还不错,也可以深度研究一下 Comflowy 的文档,发掘更多玩法!
希望通过本文也能将这种工作流绘图的方式拉进你的视野,一起享受 AI 绘图红利!