目录

• 0 写在前面
• 1 diffusion vs GAN
• 2 NovelAI
• 3 AI绘画环境搭建
• 4 体验AI创作

写在前面

机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理；“广”在分析多个机器学习模型：决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。

话不多说，先看看AI绘画的效果

接下来带大家体验一下二次元画师novelAI。最新进展——AI绘画进军三次元，有人用它打造赛博女友？(diffusion)

1

所谓扩散算法diffusion是指先将一幅画面逐步加入噪点，一直到整个画面都变成白噪声。记录这个过程，然后逆转过来给AI学习。

AI看到的是什么？一个全是噪点的画面如何一点点变清晰直到变成一幅画，AI通过学习这个逐步去噪点的过程来学会作画。

diffusion和之前大火的GAN模型相比，有什么优势呢？用OpenAI的一篇论文内容来讲，用diffusion生成的图像质量明显优于GAN模型；而且与GAN不同，diffusion不用在鞍点问题上纠结——涉及稳定性问题，只需要去最小化一个标准的凸交叉熵损失即可，这样就大大简化了模型训练过程中，数据处理的难度。

总结来说，目前的训练技术让**diffusion直接跨越了GAN领域调模型的阶段，而是直接可以用来做下游任务，是一个新的数学范式在图像领域应用的实例**。

2

NovelAI是基于人工智能的绘画创作辅助工具，单纯训练就使用了数千个网站的数十亿张图片。NovelAI是一个商业化的网站，绘画是需要付费的，然而这次其商业模型疑似流出，不管是小白还是画师都能体验一次AI创作的乐趣。这次流出的模型是stable- diffusion-webui，也就是第一节介绍的扩散算法。

3

主要分为以下步骤：

• 创建Python3.10的虚拟环境

  conda create -n ai_draw python=3.10

​

        * 1
        * 2

• 在虚拟环境中安装Pytorch
  这步比较涉及显卡相关的配置，比较复杂

• 下载模型stable-diffusion-webui

  git clone

​

        * 1
        * 2

• 安装依赖库
  首先进入虚拟环境

  conda activate ai_draw
  

  ​

      * 1
      * 2
  

接着进入stable-diffusion-webui根目录运行

    pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

​
​

        * 1
        * 2

采用清华源可以更快完成安装

• 下载模型和权重文件
  模型文件model.cpkt：model.cpkt，权重文件GFPGANv1.4.pth：GFPGANv1.4.pth，模型文件移动到这个目录stable- diffusion-webui-master\models\Stable-diffusion，权重文件留在根目录即可，最后的文件组织如图所示

• 根目录运行启动文件

  python launch.py

​

        * 1
        * 2

期间会下载一些新的依赖，有可能超时报错，多启动几次即可

4

通过第三节的配置，成功后即可在终端看到

开放了一个本地端口，在浏览器中输入即可

接下来测试最简单的文本生成图像功能：

• 输入正面标签：```
  NSFW,anime fine details portrait of a white haired girl ,black eyes,wearing
  hoodie on the city street background, close-up view, anime masterpiece，4k,
  sharp high quality anime, artstation Prhololive, uruha_rushia, 1girl, bangs,
  bare shoulders, red eyes, blue dress, blue green hair,blue sleeves, blush,
  bow, breasts, chick, collarbone, detached collar, detached sleeves, double
  bun, eyebrows visible through hair,frills, hair orhament, medium hair, off-
  shoulder dress 1girl looking_at_viewer upper_body, too many flowers,kyoto
  animation, bishojo, bare_shoulders black sleeves yellow_eyes emeraldblue_hair,
  sailor_collar and neckerchief, detached_sleeves frilled_shirt_collar frills
  grey_shirt headset heart long_hairsleeveless shirt twintails verv long hair
  wide sleeves highres 2girl, two bishojo snuggled up selfie, with white marble
  glowing skin and perfect symmetrical pretty face with blush cheeks and glaring
  eyes wearing a school uniform,golden hour lighting, strong rim light, intense
  shadowse , Ernst Thoms

  ​
  ​

      * 1
  

• 输入反面标签：```
  lowres, bad anatomy, bad hands, text,error, missing fngers,extra digt ,fewer
  digits,cropped, wort quality ,low quality,normal quality, jpeg
  artifacts,signature,watermark, username, blurry, bad feet

  ​
  ​

      * 1
  

• 设置采样步长sampling step为28

• 配置CFG Scale为12

• 点击Generate

当然这里还有img2img等丰富的功能，读者可自行测试

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取

一、ComfyUI配置指南

• 报错指南
• 环境配置
• 脚本更新
• 后记
• …

二、ComfyUI基础入门

• 软件安装篇
• 插件安装篇
• …

三、 ComfyUI工作流节点/底层逻辑详解

• ComfyUI 基础概念理解
• Stable diffusion 工作原理
• 工作流底层逻辑
• 必备插件补全
• …

四、ComfyUI节点技巧进阶/多模型串联

• 节点进阶详解
• 提词技巧精通
• 多模型节点串联
• …

五、ComfyUI遮罩修改重绘/Inpenting模块详解

• 图像分辨率
• 姿势
• …

六、ComfyUI超实用SDXL工作流手把手搭建

• Refined模型
• SDXL风格化提示词
• SDXL工作流搭建
• …

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取