什么是LoRA模型?如何使用和训练LoRA模型?你想要的都在这!
大家刚接触Stable Diffusion时,会听到很多专业术语,其中LoRA模型必定是会被提及到的,那么**什么是LoRA模型?它有什么作用呢?** 本文来为大家做一个解答~
大家刚接触Stable Diffusion时,会听到很多专业术语,其中LoRA模型必定是会被提及到的,那么什么是LoRA模型?它有什么作用呢? 本文来为大家做一个解答~
1.什么是LoRa
LoRA模型全称是:Low-Rank Adaptation of Large Language Models,**可以理解为Stable-Diffusion中的一个插件,仅需要少量的数据就可以进行训练的一种模型。**在生成图片时,LoRA模型会与大模型结合使用,从而实现对输出图片结果的调整。
我们举个更容易懂的例子:**大模型就像素颜的人,LoRA模型就如同进行了化妆、整容或cosplay,但内在还在大模型的底子。**当然LoRA模型不仅仅限制于人物,场景、动漫、风格都有相对应的LoRA。
2.下载安装
LoRA和大模型一样需要我们自己去下载,下面推荐一些常用的下载网站。
(需要LoRA和大模型和安装包的同学可以文末自行扫描获取)
Libilibi:LiblibAI·哩布哩布AI - 中国领先的AI创作平台
吐司:吐司 TusiArt.com
Civitai:Civitai: The Home of Open-Source Generative AI
打开网站,点击筛选-点击需要的LoRA-点击即可下载。
下载完成后,会得到 Eula.safetensors 文件,将其拷贝到 LoRA目录。
3.使用
我们打开web ui页面,选择大模型和其他参数,然后点击模型中的LoRA,SD会自动把LoRA添加到提示词内。
设置参数时,LoRA的权重数值不能超过1。
下面是我们生成出来的一组图。可以看到主角的裙子基本是锁定的,这个就是LoRA的功劳。
我们还可以尝试多个LoRA结合使用。
在这段提示词中我们使用了两个不同的LoRA。
多个Lora的权重数值之和也不能大于1。
生成一下看下效果,这两个提示词没有变化。
4.训练LoRA
虽然使用成型的LoRA很方便,但通常我们在生图的,可能很难找到完全匹配的,此时就需要我们自己动手训练了,毕竟自己动手丰衣足食,几个步骤简单为大家讲解如何训练~
1、配置要求和训练环境
电脑配置:N卡 gpu 6G以上;训练环境:除了直接用训练脚本直接进行操作外 可以使用不同的训练图形化操作界面方便操作 可以用秋叶LORA模型训练器、朱尼酱的赛博丹炉,kohya-ss gui选一个即可,电脑配置不够用 可以选择 AutoDL、Google Colab青椒云桌面、揽睿星舟等云平台。
2、训练步骤
-
训练数据集准备:对图像进行预处理包括分类、裁剪大小、打标签优
-
训练参数调节:调整核心参数配置,包括:学习次数(repeat)、循环(epoch)、并行数量(Batch_size)、学习率(Unet_lr)、学习精细度(Network Dimension)、优化器(Optimazer)
**3、模型训练:**参数调整完毕后,根据图片数量和参数设置训练时长一般20分钟以上。
**4、模型测试:**训练完毕后得到的模型通过xyz 脚本测试每个模型的效果。后续小编将详细介绍各个参数的作用和lora训练的一些注意点,大家可以关注一下~
以上就是关于LoRA 的内容啦~
资料软件免费放送
次日同一发放请耐心等待
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
对于0基础小白入门:
如果你是零基础小白,想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍
👉stable diffusion新手0基础入门PDF👈
(全套教程文末领取哈)
👉AI绘画必备工具👈
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉AI绘画基础+速成+进阶使用教程👈
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉12000+AI关键词大合集👈
这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】


GitCode 天启AI是一款由 GitCode 团队打造的智能助手,基于先进的LLM(大语言模型)与多智能体 Agent 技术构建,致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话,还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力,真正做到“一句话,让 Al帮你完成复杂任务”。
更多推荐
所有评论(0)