目录

一、Stable Diffusion 介绍

1.1 Stable Diffusion在AIGC领域的核心价值

1.2 Stable Diffusion的优势与价值：引领图像生成新纪元​

1.2.1 ​高质量的图像生成​

1.2.2 ​高效的生成速度​

1.2.3 ​灵活的控制与定制​

1.2.4 ​开源与社区支持​

1.2.5 ​广泛的应用场景​

1.2.6  ​推动AI与艺术的融合​

二、环境搭建：从零部署Stable Diffusion

2.1 Stable diffusion 本地安装部署

2.1.1 硬件要求：

2.1.2 软件部署：

源码方式：

秋叶大佬整包方式：

2.1.3 启动&界面

2.2 插件与模型安装

三、Stable Diffusion学习计划：从零到高手

3.1 基础篇

3.1.1 提示词（Prompt）语法

3.1.2 负面提示词（Negative Prompt）的作用

3.1.3 文生图参数

3.1.4 小模型LoRA使用技巧

3.1.5 Embedding使用技巧

3.2 进阶篇

3.2.1 ControlNet 使用

Control Net WebUI 界面：

Control Net 基础：

Control Net  通用参数：

ControlNet 使用技巧

模型选择与参数联动

多模型协同控制

显存与效率优化

3.2.2 Inpaint Anything插件

3.2.3 动态提示词插件

3.2.4 内置PS插件

WebUI - Photopea 界面：

3.2.5 SDXL

3.3 模型炼制

四、总结与资源汇总

总结

资源汇总

1. 核心工具与模型仓库

2. 学习与进阶指南

3. 社区与安全指南

4. 未来趋势与扩展阅读

5. 资源库分享

一、Stable Diffusion 介绍

1.1 Stable Diffusion在AIGC领域的核心价值

        作为开源AI图像生成领域的里程碑式技术，Stable Diffusion通过“算法民主化+创作工业化”的双轮驱动，正在重塑全球数字内容生产范式。相较于传统生成式AI的“黑盒式”输出，其革命性价值体现在三大维度：

        技术突破层面，SD构建了基于潜扩散模型的多模态控制体系——通过ControlNet插件实现线稿、深度图与人体姿态的像素级锁定（误差<5%），结合LoRA微调技术实现风格、角色特征的高效迁移，使AI生成从“概率游戏”升级为工程化创作工具，在工业设计、影视预演等场景中实现高达90%的原型替代率。

        生态构建层面，其开源架构激活了全球开发者社区的“飞轮效应”：GitHub上超5万次分叉的WebUI框架、CivitAI平台日均新增200+风格化模型、Hugging Face集成的SDXL Turbo实时生成管线，共同构成模块化技术堆栈。开发者可通过组合插件（如AnimateDiff视频生成、Inpaint Anything精准修图）快速搭建垂直领域解决方案，大幅降低AIGC应用门槛。

        商业落地层面，SD已渗透至创意产业链全周期：在电商领域，ZARA、SHEIN等品牌利用SD+LoRA实现服饰设计稿分钟级迭代；建筑行业借助Depth-to-Image技术将CAD图纸转化为超写实渲染图，成本降低70%；科研机构则通过DreamBooth定制生物细胞显微模型，加速病理学研究进程。这种**“开源技术-社区创新-产业渗透”**的闭环，正推动AIGC从技术奇观走向生产力基建。

1.2 Stable Diffusion的优势与价值：引领图像生成新纪元​

        在人工智能与深度学习领域，Stable Diffusion（SD）​无疑是一颗耀眼的明星。作为一款基于扩散模型（Diffusion Model）的图像生成技术，SD不仅在生成质量上达到了前所未有的高度，还在效率、灵活性和应用场景上展现了巨大的潜力。以下是SD的核心优势与价值解析：

1.2.1 ​高质量的图像生成​

SD通过模拟图像从噪声逐步还原为清晰图片的过程，能够生成高度逼真且细节丰富的图像。无论是风景、人物还是抽象艺术，SD都能以惊人的精度捕捉到每一个细节，满足用户对高质量视觉内容的需求。

1.2.2 ​高效的生成速度​

相较于传统的GAN（生成对抗网络）模型，SD在生成速度上有着显著优势。通过优化扩散过程的计算效率，SD能够在短时间内生成多张高质量图像，极大地提升了用户的工作效率。

1.2.3 ​灵活的控制与定制​

SD支持通过文本提示（Text Prompt）对生成内容进行精准控制。用户只需输入简单的描述，SD就能生成与之匹配的图像。此外，SD还支持对图像风格、色彩、构图等参数进行深度定制，为用户提供了无限的创作可能性。

1.2.4 ​开源与社区支持​

SD的开源特性使其迅速成为全球开发者和研究者的关注焦点。强大的社区支持不仅推动了技术的快速迭代，还为开发者提供了丰富的资源与工具，降低了技术应用的门槛。

1.2.5 ​广泛的应用场景​

SD的应用场景极为广泛，涵盖了艺术创作、游戏开发、广告设计、虚拟现实等多个领域。无论是用于生成概念图、设计素材，还是作为创意灵感的来源，SD都能为用户提供强大的支持。

1.2.6  ​推动AI与艺术的融合​

        SD的出现标志着人工智能与艺术创作的深度融合。它不仅为艺术家提供了全新的创作工具，还引发了关于AI生成内容版权、伦理等问题的深入讨论，推动了相关领域的规范化发展。

二、环境搭建：从零部署Stable Diffusion

2.1 Stable diffusion 本地安装部署

2.1.1 硬件要求：

推荐NVIDIA显卡（显存≥8GB），支持CUDA 11.7及以上。

2.1.2 软件部署：

使用整合包（如秋叶启动器）一键安装，或通过官方GitHub仓库手动部署：

基础环境（SD运行必备）：

源码方式：
秋叶大佬整包方式：

            建议：下载 秋葉aaaki大佬的SD整包  网盘：夸克网盘分享 解压密码：bilibili-秋葉aaaki>双击(根目录)

2.1.3 启动&界面

        源码安装 进入根目录stable-diffusion-webui > 双击webui-user.bat 运行

        秋叶整包 进入根目录sd-webui-aki-v4.8 > 双击 运行

        启动后会自动打开浏览器：http://127.0.0.1:7860/ 

2.2 插件与模型安装

三、Stable Diffusion学习计划：从零到高手

3.1 基础篇

目标：掌握基础操作与核心功能。

3.1.1 提示词（Prompt）语法

参考资料：DeepSeek提示词库、 

基础提示词：https://pan.baidu.com/s/1OA__Ou4ySe-VheHzJH2z3Q?pwd=y8t5

3.1.2 负面提示词（Negative Prompt）的作用

     负面提示词（Negative Prompt）在Stable Diffusion中用于引导模型避免生成特定内容。通过输入负面提示词（如“模糊”、“失真”），用户可抑制不希望出现的特征，提升图像质量并精确控制生成结果。这一机制在排除不相关元素、减少模型偏见及实现复杂约束时尤为有效，使生成内容更贴合用户需求。

3.1.3 文生图参数

​

    参数设计技巧总结：

        采样器选择：

            Euler a：速度快、多样性高，适合快速测试（步数20-30）；

            DPM++ 2M Karras：细节丰富，适合高精度生成；

            DDIM：适合重绘与高步数场景（>40步）118。

        迭代步数：

            20-30步为性价比最优区间，步数过高易导致过拟合且耗时增加621。

        基础分辨率：默认512×512兼容性最佳，超过768×768可能导致多人或肢体异常。若需全身像，可调整宽高比（如512×768）2021。

        高清修复（Hires Fix）：通过放大算法（如R-ESRGAN）提升细节，重绘幅度建议0.3-0.5以平衡原图保真度与增强效果1721。

        提示词引导系数（CFG Scale）：7-11为常用范围，二次元风格可适当调高（12-15），写实风格需谨慎避免过度锐化1821。

        批量生成与种子控制：通过固定种子（Seed）复现效果，结合差异种子微调生成多样性。

        总批次数与单批数量需根据显存合理配置（显存<12G建议单批数量为1）621。

3.1.4 小模型LoRA使用技巧

    LoRA（Low-Rank Adaptation） 帮助精准控制生成风格与细节

        风格适配：根据目标选择专用LoRA（如角色设计koreanDollLikeness、画风StudioGhibli-Style），需匹配主模型类型（二次元/写实）。

        触发词调用：部分LoRA需特定触发词激活（如<lora:cyberrealistic_v3:1>或关键词ghibli_style），需查阅模型文档确认语法。

        强度控制：通过后缀数值（如<lora:model:0.8>）调整LoRA影响权重，避免过拟合（推荐0.6-1.2）。    

        分层干预：在提示词中分段插入不同权重的LoRA（如主体风格<lora:anime:1> + 背景特效<lora:cinematic_light:0.5>），实现局部精细化控制。

        CFG Scale调整：高风格化LoRA建议降低CFG（7-9）以避免过度锐化，写实类LoRA可适当提高（10-12）。

        采样器适配：细节密集型LoRA（如材质纹理）搭配DPM++ 2M Karras或UniPC采样器，步数≥25；风格化LoRA可用Euler a加速生成。

        兼容性测试：同时加载多个LoRA时，需验证模型冲突（如画风+角色LoRA叠加可能导致比例失调）。

        优先级排序：关键LoRA置于提示词前端，次要模型靠后，必要时通过权重补偿（如<lora:A:1.2> + <lora:B:0.7>）平衡效果。

        显存优化：单个LoRA占用约70-200MB显存，同时加载建议≤3个（显存<12G需谨慎）。

        自定义训练：使用Kohya_SS等工具微调LoRA时，建议数据集≥50张高质量图像，并设置分层学习率（如1e-4~1e-6），防止过拟合。

3.1.5 Embedding使用技巧

     Embedding通过微调文本潜空间实现了细粒度生成控制，但需警惕过度依赖导致的创意局限。建议结合XYZ Plot脚本对比不同权重组合，并通过分阶段测试（先主提示词→后加Embedding）验证效果增量。对于高频使用场景，可将已验证的Embedding组合保存为预设模板，提升创作效率。

        缺陷修复：结合局部重绘（Inpainting）与蒙版模糊（Mask Blur），针对性修复面部畸变或背景噪点。

        分辨率增强：低分辨率图输入+“Hires.fix”放大算法（如4x-UltraSharp），重绘幅度0.2-0.3保留原图信息。

        跨域转化：线稿→上色（幅度0.5-0.7）、2D→3D渲染（幅度0.6+三维光照关键词）。

  • 文生图（Text2Image）：

采样方法与迭代步数

分辨率与高清修复

参数联动与优化

模型定位与触发词激活

权重动态调节

参数联动优化

多模型协同策略

 资源管理与训练

  • 图生图（Img2Img）

    • 功能原理与核心参数

      图生图通过将输入图像编码至潜空间，结合文本提示进行定向重绘。关键参数包括：

      重绘幅度（Denoising Strength）：0-1范围内控制原图保留度（0.3以下微调细节，0.5以上风格重构，>0.7接近文生图模式）。

      分辨率适配：建议输入图与输出尺寸比例一致，避免拉伸畸变（启用“Highres Fix”可提升放大后细节）。

    • 场景化应用策略

      风格迁移：输入照片+风格提示词（如oil painting），重绘幅度0.4-0.6保留构图的同时转换艺术风格。

    • 参数联动优化

      提示词协同：正向提示词需包含原图核心元素（如keep original composition），反向提示词排除干扰特征（如blurry）。

      采样器选择：DDIM或PLMS适合高重绘幅度下的稳定迭代，DPM++ 2M适配细节重构需求。

      ControlNet加持：通过边缘检测（Canny）或深度图（Depth）锁定原图结构，实现高幅度重绘下的构图稳定性。

    • 进阶操作技巧

      批量迭代：固定种子（Seed）+多批次生成，筛选最优结果。

      分层重绘：分阶段调整重绘幅度（如首轮0.5生成基础结构，次轮0.3细化纹理）。

      透明度控制：对半透明元素（如玻璃、烟雾）使用低幅度（0.2-0.4）叠加生成，避免过度覆盖。

    图生图功能打破了文生图的随机性限制，通过“图像引导+语义控制”实现精准创作。建议优先使用PNG格式保留原图元数据，并通过“Send to Img2Img”功能实现工作流无缝衔接。需注意过高重绘幅度可能导致内容失控，可结合CLIPSeg插件实现语义分割，进一步细化编辑区域。

3.2 进阶篇

目标：掌握Control Net等高阶组件、视频制作、XL模型使用技巧。

3.2.1 ControlNet 使用

Control Net WebUI 界面：

​

Control Net 基础：

官方 GitHub 仓库：https://github.com/lllyasviel/ControlNet

WebUI 插件使用指南：https://github.com/Mikubill/sd-webui-controlnet《Adding Conditional Control to Text-to-Image Diffusion Models》论文：[2302.05543] Adding Conditional Control to Text-to-Image Diffusion Models

预训练模型下载地址：ControlNet 1.1 模型库、SDXL 适配模型库 

Control Net  通用参数：

​

ControlNet 使用技巧

        在 Stable Diffusion 中，ControlNet 是实现精细化图像生成的关键工具，通过引入条件控制（如线稿、深度图、姿态骨架等），大幅提升生成结果的可控性。以下是实际应用中总结的高效使用技巧：

模型选择与参数联动

  • 模型适配：根据需求选择预处理器与模型组合，例如：

    • 线稿控制：Canny/Lineart 提取边缘，权重设为 0.8-1.2，搭配 DPM++ 2M Karras 采样器优化细节；

    • 姿态控制：OpenPose 识别人体骨架，开启手部检测模型（如 hand_refiner）避免多指问题。

  • 参数优化：

    • 重绘幅度：构图重构选 0.6-0.8，细节微调选 0.3-0.5；

    • 介入时机：高精度需求时，设置 Starting Step=0.1，让 ControlNet 早期介入生成。

多模型协同控制

支持同时加载 ≤3个 ControlNet 模型（低显存设备建议≤2个），典型组合包括：

  • Canny + Depth：线稿约束主体结构，深度图控制场景层次感；

  • OpenPose + Scribble：固定人物姿态，手绘涂鸦引导色彩分布；

  • 语义分割 + Tile：区域替换物体（如更换服装），叠加纹理增强真实感。

  • 优先级策略：关键模型（如构图控制）置于前端，次要模型（如风格）靠后。

显存与效率优化

  • 低显存模式：启用 Low VRAM 选项，减少同时加载的模型数量；

  • 分辨率匹配：开启 Pixel Perfect 模式，自动适配输入图与生成尺寸，避免拉伸畸变；

  • 批量生成：固定 Seed 值，通过调整 Control Weight（0.5-1.5）批量测试最佳效果。

3.2.2 Inpaint Anything插件

​

    Inpaint Anything 是 Stable Diffusion 生态中功能强大的图像编辑插件，通过结合 SAM（Segment Anything Model）、LaMa 图像修复模型 和 Stable Diffusion 生成模型，实现了“一键移除、填充、替换”的精准图像控制能力，大幅简化了电商设计、艺术创作等场景的复杂编辑流程。

3.2.3 动态提示词插件

​

3.2.4 内置PS插件

​

WebUI - Photopea 界面：

​

Photopea基本能达到80%左右的Photoshop PS的功能 而且免费。

3.2.5 SDXL

​

3.3 模型炼制

目标：实现LoRA模型训练

  • LoRA模型训练

​

​

参考资料：

        【 stable diffusion LORA模型训练最全最详细教程】_stable diffusion 训练 秋叶-CSDN博客

        Stable Diffusion 指定模型，Lora 训练全流程 - AIGC

四、总结与资源汇总

总结

        Stable Diffusion 作为 AIGC 领域的标杆工具，其核心价值在于通过开源生态与技术创新，实现了从“随机生成”到“精准控制”的跨越。其技术突破不仅体现在多模态生成能力（如文生图、图生图、视频生成），更在于通过插件化架构（如 ControlNet、LoRA）和社区协作，构建了覆盖艺术创作、工业设计、科研探索的全场景解决方案29。未来，随着扩散模型与 Transformer、MoE 架构的深度结合（如非对称 LoRA 技术），AI 生成将进一步提升逻辑连贯性与跨领域泛化能力，推动创意生产力的全面革新910。

资源汇总

        以下为学习与实践 Stable Diffusion 的必备资源，涵盖工具、模型、教程及社区支持：

1. 核心工具与模型仓库

2. 学习与进阶指南

3. 社区与安全指南

  • 开发者社区

    • GitHub 开源生态：AUTOMATIC1111 WebUI、ComfyUI 等主流分支

    • Discord 交流群组：实时技术讨论与资源分享（如 B 站 UP 主社区）

    • CSDN 专栏：模型训练避坑指南与最新插件测评

  • 安全注意事项

    • 模型下载验证：优先选择官方认证或高评分资源，避免恶意软件植入（参考迪士尼工程师安全事件教训）

    • 网络安全防护：启用双重身份验证（2FA），避免使用未加密的密码管理工具

4. 未来趋势与扩展阅读

5. 资源库（百度）

        Stable  Diffusion 全套插件：https://pan.baidu.com/s/1by4ePPUdHLH-aglgqr1vTQ?pwd=q6nt

        新手4大必备SD大模型推荐：https://pan.baidu.com/s/1v0R76pmJrZJ4QviOkRNw7Q?pwd=adaq

        "SD福利资源站"见上一篇文章：Stable Diffustion 值得学习吗？（总结：SD资源链接）

Logo
天启AI社区

GitCode 天启AI是一款由 GitCode 团队打造的智能助手，基于先进的LLM（大语言模型）与多智能体 Agent 技术构建，致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话，还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力，真正做到“一句话，让 Al帮你完成复杂任务”。

更多推荐

“Java面试全攻略：从SE到微服务，一网打尽！“

（严肃地）马小帅，你好，欢迎参加我们公司的Java开发工程师面试。首先，我想了解一下你对Java SE的了解程度。：嗨，面试官，Java SE对我来说是基础中的基础。我熟悉Java 8、11和17版本，对Lambda表达式、Stream API等新特性也相当熟悉。：（微笑）很好。那么，你能谈谈你在项目中是如何使用Maven来管理项目依赖的吗？：当然可以。在项目中，我通常使用Maven来定义项目依赖

avatar 天启AI社区

对近期接触到的直播相关知识进行梳理

M3U8 文件是 HLS (HTTP Live Streaming) 协议的核心组件，它本质上是一个播放列表文件，包含媒体流的结构信息。直播与视频聊天的对比：我觉得直播是通过流媒体技术把现场的图像和声音采集后分发出去，供观众在线围观，可以认为是开放的，一般没有人数限制；而视频聊天是点对点的线上交流，是基于UDP/TCP的实时传输协议实现的。流媒体是通过互联网实时传输音视频内容的技术，用户无需等待完

avatar 天启AI社区
cover

Streamlit黑科技！在线数据库客户端神器，SQL查询/多库支持/隐私安全一站式搞定（附源码+在线体验），于大爷.在线工具集

avatar 天启AI社区