在视觉创意领域，基于 AI 的指令式图像编辑需求极为普遍。然而，以往的图像编辑模型在主体与背景保留、指令执行等方面存在能力短板，致使编辑后图像的可用率偏低。

全新的图像编辑模型 SeedEdit 3.0，以文生图模型 Seedream 3.0 为基础，通过融合多样化数据，并结合特定奖励模型，有效攻克了上述问题。它显著增强了对图像主体、背景及细节的保留能力，在人像精修、背景置换、视角与光影变换等应用场景中表现卓越。

即日起，SeedEdit 3.0 技术报告正式公开。模型已在即梦网页端开启灰度测试，豆包 App 也将尽快上线，诚邀大家体验交流。

• 项目主页：https://seed.bytedance.com/seededit
• 技术报告：https://arxiv.org/pdf/2506.05083
• 体验方式：
• 即梦网页端：进入图片生成板块，上传参考图，选择图片 3.0 模型，输入修改指令即可体验（灰度测试中）；
• 豆包 App：后续将在 AI 生图功能中，支持添加参考图并输入修改指令 。

SeedEdit 3.0 由字节跳动 Seed 团队研发，支持 4K 图像处理与生成。它既能对编辑区域进行细腻自然的处理，又能高度保真留存其他图像信息。面对 “哪些部分修改、哪些部分保留” 的编辑难点，该模型展现出更强的理解与平衡能力，大幅提升了编辑图像的可用性。例如，当用户希望移除图片中的行人时，它不仅能精准识别并消除人物，连人物的影子也能一并处理干净。

Prompt：移除中间人物以外的所有行人

在将 2D 绘画转化为真人模特形象时，SeedEdit 3.0 精准还原人物衣帽穿搭、手提包等细节，生成的图片充满时尚街拍质感。

Prompt：使女孩看起来逼真

SeedEdit 3.0 对场景光影变换的处理流畅自然。无论是近处的房屋，还是远处的海水波纹，各类细节都得以妥善留存，并能根据光线变化，实现 “像素级” 的精准渲染调整。

Prompt：把场景变为白天

为赋予 SeedEdit 3.0 强大的图像编辑能力，研发团队创新提出高效数据融合策略，并构建多个专用奖励模型。

团队将奖励模型与扩散模型协同训练，显著提升人脸对齐、文本渲染等关键任务的编辑质量。同时，在模型落地过程中，对推理速度进行了同步优化，实现性能与效率的双重提升。

Prompt：将“STOP”更改为“WARM”

1.卓越的图像编辑保持力与高可用率

为全面评估 SeedEdit 3.0 的性能，团队整合数百张真实及合成测试图像，设计 23 类细分编辑任务。除常规的风格转换、元素增减替换外，还纳入相机运动、物体位移、场景切换等复杂指令，构建严苛测试场景。

量化评测体系

团队采用 CLIP 模型量化图片编辑前后的相似度，衡量内容保持效果；借助第三方视觉语言模型（VLM）自动判定编辑指令的完成度。

从评测坐标图可见，SeedEdit 3.0 在编辑内容保留与指令响应方面，显著超越前代版本（SeedEdit 1.0、1.5、1.6）。相较竞品 Gemini 2.0 和 Step1X，也展现出竞争优势。值得注意的是，GPT-4o 虽在指令遵循上表现优异，但在图像内容保持能力上逊于 SeedEdit 3.0。

纵轴代表图像主体保持效果，横轴代表机器评测的指令响应程度

从下图则可以看到，SeedEdit 3.0 在人脸保持上，也有明显优势。

纵轴代表人脸保持效果，横轴同样代表机器评测的指令响应程度

真人评测验证卓越性能

为确保评估更贴近实际应用，团队引入真人评测机制，采用 0-5 分制，从五个核心维度评估模型表现：

• 指令遵循：衡量编辑指令执行的准确性；
• 图像保持：考察无关区域的完整性；
• 生成质量：评判画面品质、美观度及瑕疵情况；
• 用户满意度：统计优质成果占比；
• 可用率：计算符合用户需求的产出比例。

评测数据显示，SeedEdit 3.0 在图像保持维度表现尤为亮眼，以 4.07 分（满分 5 分）的成绩，相较前代 SeedEdit 1.6 提升 1.19 分；可用率达 56.1%，较 SeedEdit 1.6 提高 17.46 个百分点。此外，其指令响应与生成质量同样位居行业领先水平。

不同图像编辑模型在可用率、用户满意度、指令遵循、图像保持、生成质量维度的表现

通过部分对比案例可见，SeedEdit 3.0 对未编辑区域的完整性保护极佳，生成效果浑然天成，细节纤毫毕现，在还原真实感的同时，更赋予画面艺术美感 。

通过定性比较能看到，SeedEdit 3.0 在人脸、物体/人物前景、图像细节保留、汉字更改和对齐方面有着较好表现

2.创新数据策略，助力 AI 精准把握图像编辑要点

图像编辑模型训练的核心，在于使其精准解析编辑指令，识别任务差异，并准确区分画面中需改动与需保留的区域。数据作为模型能力的根基，研发团队针对性开发增强型数据融合策略，依据不同任务与场景，构建多元数据集：

• 合成数据集：采用配对采样策略，融合语言与视觉模型生成的提示词，以及文生图模型产生的噪声采样数据。这一策略助力模型聚焦主流及长尾任务，精准理解图像主体姿势变化中的几何逻辑。
• 编辑专家数据：合规采集真实专业图像编辑流程数据，涵盖 ComfyUI 工作流、背景光线调节、文本编辑等场景，结合图像生成 API 搭建数据管道，全面覆盖专家级编辑场景。
• 传统人工编辑操作数据：基于传统编辑工具制作高质量数据，涉及镜头模糊、光照调整、裁剪及海报模板生成等操作，为模型提供明确的编辑损失方向指引，强化对编辑 “变”“不变” 差异的理解。
• 视频帧与多镜头数据：利用视频素材作为天然图像配对资源，随机抽取关键帧，添加文字指令标注差异，经 CLIP 图像相似度、光流指标初筛，再由 VLM 精筛，获取大规模真实数据，提升模型泛化能力。

通过多维度数据整合，该策略有效缩小跨领域数据处理的域间差距，大幅提升模型对图像编辑任务的理解能力，使其能像专业设计师般，精准处理图像编辑中的改动与保留需求。

依托上述多元数据集，团队引导扩散模型在真实数据与合成的 “输入 - 输出编辑空间” 开展交叉学习。该训练模式既能完整保留各类编辑任务信息，又显著提升模型对真实图片的编辑性能。具体训练框架如下：

我们从多个数据源收集元信息，将多个 Loss 融合并插入训练过程中

由于不同来源的编辑数据特性差异显著，若直接整合至原始合成图像对，会导致模型性能下滑。例如，“更换为巴黎” 指令在传统修图中仅需简单背景替换，而在基于扩散模型的 IP/ID 保留任务里，可能需要对全图像素进行深度修改。

为此，团队提出多粒度标签策略，实现异构编辑数据的高效融合。针对差异较大的数据，通过统一任务标签进行分类；对相似数据，则添加特殊 Caption 标注，降低模型推理的不确定性。考虑到中英双语应用场景，团队对提示词采样，并借助 VLM 生成双语描述。经重述、筛选与对齐处理后，所有数据均可支持正向、反向编辑训练，达成性能的均衡优化。

3. 多模态信息对齐与分阶段训练

团队沿用成熟框架：底层依托视觉理解模型提取图像高层语义，顶层采用因果扩散网络，并在扩散过程中融入图像编码器以捕捉细节。同时，在视觉理解模型与扩散模型间建立连接，确保编辑推理信息（如任务类型、标签）的精准对齐。

在此基础上，将扩散网络升级为 Seedream 3.0，支持 1K-2K 分辨率图像原生生成，大幅增强人脸、物体等细节保留能力。这一升级不仅赋予 SeedEdit 3.0 卓越的双语文本理解与渲染能力，还为其拓展至多模态图像生成场景奠定了坚实基础。

改造完成后的 SeedEdit 3.0 结构

为优化训练效果，团队采用多阶段训练策略。预训练阶段整合所有图像对数据，精调阶段则专注提升并稳定编辑性能。具体而言，先通过多分辨率批次训练，让模型从低分辨率逐步适应高分辨率；微调时，重新采样筛选高分辨率、高质量数据，结合模型过滤与人工审核，确保数据优质且覆盖多元编辑场景，随后利用扩散 Loss 进行参数调整。针对人脸身份、细节结构等核心属性，引入特定奖励模型作为额外损失函数，并赋予权重，强化模型在关键能力上的表现。最后，将编辑任务与 T2I 任务联合训练，既显著增强高分辨率图像编辑能力，又保留 T2I 模型泛化优势。

4. 多维加速技术，实现 10 秒级高效推理

SeedEdit 3.0 在训练与推理效率上实现突破：

• 蒸馏优化框架：基于 Hyper-SD 和 RayFlow 构建加速体系，通过为样本定制目标分布，减少路径重叠，提升生成稳定性与多样性，规避传统方法的控制弱化和去噪不稳定问题。
• CFG 蒸馏提速：将 Classifier-Free Guidance 编码为可学习模块，与时间步编码融合，实现约 2 倍推理加速，同时支持引导强度灵活调节。
• 统一噪声引导：引入网络预测的固定噪声参照向量，在去噪过程中提供稳定指引，保障采样平滑性与图像重建真实度。
• 自适应时间步采样：针对传统扩散训练的高方差与资源浪费问题，采用动态采样策略，聚焦关键时间步更新，显著提升计算效率。
• 少步高保真生成：创新压缩去噪调度，大幅减少采样步数，同时在画面美感、图文对齐等核心指标保持优异表现。
• 量化与性能优化：针对 DiT 模型架构，通过内核融合、内存访问合并优化特定算子，部分算子执行速度提升超 2 倍；对 GEMM 和 Attention 模块实施低比特量化，兼顾性能提升与内存节省。

5. 展望未来

尽管 SeedEdit 3.0 在图像保持和可用率上表现亮眼，但指令遵循能力仍有提升空间。未来，团队将持续优化编辑性能，并探索连续多图生成、图像合成、故事内容创作等进阶功能，助力用户释放更多创意潜能。