前言

🐵

在多次社区的Comfyui共学中发现, comfyui工作流的门槛确实过高. 让很多人理解“潜空间”, “Vae”, “LoRA”, “controlnet”等一系列概念非常困难, 更别说基于理解做一个工作流了.

这次英伟达整了个花活, 让大家看到了打破这个门槛的可能性:

🌈 通过画图提示词, 自动生成匹配的comfyUI工作流!

英伟达将其命名为ComfyGen (comfy生成器)! 当然目前仅支持文生图模型.

在英伟达发布的内容中, 他们称: “ComfyGen可以生成高质量的图并泛化到其他领域 (如下图). ”

并且他们很自豪的宣称:“下图这么优秀的图, 完全是comfyGen基于SDXL规模的模型画的, 还没有用flux呢!”

当然, 作为学术性研究论文, 肯定不会很草率的下结论.

英伟达团队做了对比测试:

下图中分别为

1. SDXL原生

2. 两个微调模型 (用过的同学会很熟悉

3. 两个人搭的工作流

4. 两个不同的comfyGen制作的图 (后文原理部分中会说明这两者的区别)

可以看到效果基本一致, 甚至确实更符合人类对提示词的判断和理解.

同时他们还做了和C站上人类写的提示词作对比:

很显然, ComfyGen的效果略胜一筹.

不过由于项目未开源, 无法体验实际效果. 但是如果真的效果如英伟达发布所说, 那是相当惊艳了.

所有的AI设计工具，安装包、模型和插件，都已经整理好了，👇获取~

原理

ComfyGen 基于大型语言模型（LLM)，为用户输入的特定提示词自动定制和优化生成Comfyui工作流。

工作流中会组合多个专门的组件，如改进的输入处理、精细的解码器和超分辨率模块，显著提高生成图像的质量和细节。

ComfyGen 的核心在于其能够根据用户的具体需求，选择最适合的工作流组件，从而实现更高质量和更精确对齐的图像输出。

ComfyGen-IC对比ComfyGen-FT

• 这里英伟达制作了一个表格, 表格里记录了工作流画图的分类, 并基于美学和人类偏好的预测给他们的结果打分. 让他们让LLM选择最能匹配新提示词并且得分最高的工作流.

• 训练时, 同样把表格中的得分, 提示词和工作流作为训练内容. 推理时, 依旧让LLM通过提示词和高得分来预测一个最合适的工作流.

这份研究为很多agent的开发带来了新的思路, 不仅局限于comfyui, 同时对LLM本身的工作流的自动生成也将产生深远的影响.

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

2.stable diffusion视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

5.SD从0到落地实战演练

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名SD大神的正确特征了。

这份完整版的stable diffusion资料我已经打包好，需要的点击下方插件，即可前往免费领取！

营销四

针对各位初学者，这里列举了一条完整的学习计划，感兴趣的可以阅读看看，希望对你的学习之路有所帮助，废话不多说，进入正题：目标应该是这样的：