大家好!SD插件ControlNET的诞生,无法自定义姿势成为过去,自定义姿势;根据线稿、骨骼、其他图片生成全新的图,AI绘图自主可控;包括边缘检测,深度信息估算;姿态,手势检测;分割等等

场景:个人pose图,模特换装;装修出图;设计草图快速复原;颜色快速更换等等

此扩展用于AUTOMATIC1111的稳定扩散Web UI,允许Web
UI将ControlNet添加到原始稳定扩散模型以生成图像

看下效果,就知道有多强了

安装ControlNET插件:

地址:(可以文末自行扫描获取)
请添加图片描述

找到右上角的扩展,然后点击从网址安装,把网址输入到下方

报错了:
AssertionError: extension access disabled because of command line flags
解决:
cd xx/stable-diffusion-webui/extensions
git clone https://github.com/Mikubill/sd-webui-controlnet

下载完之后需要重新启动服务才可以生效(启动服务前下载)

成功标志:

模型下载

ControlNET 相关模型(8个),不想自己下载的(可以文末自行扫描获取)

自己下载:
huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

再上面一行的选中 设置(settings),找到contronet ,调试多个contronet为3,最后重新载入UI

插件controlnet介绍

把模型放到刚下载的插件\extensions\sd-webui-controlnet\models下,直接应用并重启界面

首页下方这块有ControlNET的模块,表示成功

基础参数配置与介绍

预处理器
先选OpenPose,后面的模型一定跟预处理器对应一致,比如:预处理器我们选了OpenPose,模型选OpenPose命名的

模型介绍

参考:
github.com/lllyasviel/ControlNet-v1-1-nightly

1 Normal Map
法线贴图控制稳定扩散
模型文件:control_v11p_sd15_normalbae.pth
用途:用在模拟3D模型的表面细节和凹凸纹理

2 Depth(MiDaS和LeReS深度信息估算)
使用深度贴图控制稳定扩散。
模型文件:control_v11f1p_sd15_depth.pth;
预处理器:Depth_Midas、Depth_Leres、Depth_Zoe

3 OpenPose
使用Openpose控制稳定扩散。
模型文件:control_v11p_sd15_openpose.pth

4 MLSD
用M-LSD直线控制稳定扩散。
模型文件:control_v11p_sd15_mlsd.pth
适合建筑物和室内空间

5 Canny
用Canny映射控制稳定扩散。
模型文件:control_v11p_sd15_canny.pth

6 Hed
用软边控制稳定扩散
模型文件:control_v11p_sd15_softedge.pth
跟Canny基本相似,都是边缘检测提取线稿,唯一的不同是,Canny提取的线稿边更锐利,Hed的线稿边缘更柔结果更加接近原图

7 scribble
使用涂写控制稳定扩散
模型文件:control_v11p_sd15_scribble.pth

8 seg
用语义分割控制稳定扩散。
模型文件:control_v11p_sd15_seg.pth

AI革新文字后,图像也是岌岌可危,微调模型的出现,是的训练也变得简单,未来AI的图像世界,可期!!

这是一位SD资深大神整理的,100款Stable Diffusion超实用插件,涵盖目前几乎所有的,主流插件需求。

全文超过4000字。

我把它们整理成更适合大家下载安装的【压缩包】,无需梯子,并根据具体的内容,拆解成一二级目录,以方便大家查阅使用。

单单排版就差不多花费1个小时。

希望能让大家在使用Stable Diffusion工具时,可以更好、更快的获得自己想要的答案,以上。

如果感觉有用,帮忙点个支持,谢谢了。

想要原版100款插件整合包的小伙伴,可以来点击下方插件直接免费获取
请添加图片描述

img

100款Stable Diffusion插件:

面部&手部修复插件:After Detailer

在我们出图的时候,最头疼的就是出的图哪有满意,就是手部经常崩坏。只要放到 ControlNet 里面再修复。

现在我们只需要在出图的时候启动 Adetailer 就可以很大程度上修复脸部和手部的崩坏问题

img

AI换脸插件:sd-webui-roop

换脸插件,只需要提供一张照片,就可以将一张脸替换到另一个人物上,这在娱乐和创作中非常受欢迎。

img

模型预设管理器:Model Preset Manager

这个插件可以轻松的创建、组织和共享模型预设。有了这个功能,就不再需要记住每个模型的最佳 cfg_scale、实现卡通或现实风格的特定触发词,或者为特定图像类型产生令人印象深刻的结果的设置!

img

现代主题:Lobe Theme

已经被赞爆的现代化 Web UI 主题。相比传统的 Web UI 体验性大大加强。

img

提示词自动补齐插件:Tag Complete

使用这个插件可以直接输入中文,调取对应的英文提示词。并且能够根据未写完的英文提示词提供补全选项,在键盘上按↓箭头选择,按 enter 键选中

img

提示词翻译插件:sd-webui-bilingual-localization

这个插件提供双语翻译功能,使得界面可以支持两种语言,对于双语用户来说是一个很有用的功能。

img

提示词库:sd-webui-oldsix-prompt

提供提示词功能,可能帮助用户更好地指导图像生成的方向。

上千个提示词,无需英文基础快速输入提示词,该词库还在不断更新。

以后再也不担心英文写出不卡住思路了!

img

由于篇幅原因,有需要完整版Stable Diffusion插件库的小伙伴,点击下方插件即可免费领取请添加图片描述

Logo

GitCode 天启AI是一款由 GitCode 团队打造的智能助手,基于先进的LLM(大语言模型)与多智能体 Agent 技术构建,致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话,还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力,真正做到“一句话,让 Al帮你完成复杂任务”。

更多推荐