Dify 中的模型提供方系统负责管理与各种人工智能模型提供方的集成，处理凭证信息，并为调用模型提供统一的接口。该系统使 Dify 能够通过一个通用的抽象层与多个模型提供方（如 OpenAI、Azure OpenAI、Anthropic 等）协同工作，既支持系统管理的凭证（通过 Dify 云服务），也支持用户自定义提供的凭证。

系统架构

模型提供方系统是 Dify 人工智能能力的核心，它在应用程序与各种人工智能模型提供方之间架起了桥梁。该系统管理提供方配置、凭证和模型调用，同时提供抽象层，隐藏不同提供方 API 的复杂性。

概览图

核心组件

模型提供方系统围绕几个核心组件构建：

• 提供方管理器（ProviderManager）：管理提供方配置和凭证的核心组件。
• 模型管理器（ModelManager）：处理模型实例的创建和默认模型的选择。
• 模型实例（ModelInstance）：表示具有特定配置的模型，并提供调用该模型的方法。
• 提供方配置（ProviderConfiguration）：封装了某个提供方的所有配置数据。
• 负载均衡模型管理器（LBModelManager）：在同一模型的多个凭证配置之间进行负载均衡管理。

提供方配置管理

提供方管理器负责管理租户工作区中所有模型提供方的配置，同时处理系统提供的凭证和用户自定义的凭证。

配置类型

Dify 支持两种主要的提供方配置类型：

• 系统配置：由 Dify 管理，通常在云版本中可用，带有配额限制。
• 自定义配置：用户提供的凭证，用于直接访问模型提供方。

提供方数据流

凭证管理

系统安全地管理不同类型的凭证，对敏感信息进行加密，并使用缓存来提高性能。

凭证流程

• 凭证以加密形式存储在数据库中。
• 需要时，对其进行解密并缓存在 Redis 中。
• 对于自定义配置，用户可以在提供方级别或模型级别提供凭证。
• 系统配置使用由 Dify 管理的凭证。

系统管理的提供方支持

Dify 云版本为多个提供方提供系统管理的凭证，并具有不同的配额类型：

提供方	配额类型	说明
Azure OpenAI	试用	有限的令牌数量，且有模型限制
OpenAI	试用、付费	可配置的模型和限制
Anthropic	试用、付费	管理的令牌限制
其他（如 Minimax、Spark、ZhipuAI）	免费	特定提供方的配置

模型调用

模型提供方系统通过 ModelInstance 类为调用不同类型的模型提供了统一的接口。

支持的模型类型

• 大语言模型（LLM）：用于文本生成。
• 文本嵌入模型：用于生成嵌入向量。
• 重排序模型：用于对搜索结果进行重排序。
• 审核模型：用于内容审核。
• 语音转文本模型：用于音频转录。
• 文本转语音模型：用于语音合成。

大语言模型调用流程

负载均衡

对于自定义的提供方配置，Dify 支持在同一模型的多个凭证配置之间进行负载均衡。这允许分配请求，并处理速率限制或身份验证失败的情况。

负载均衡过程

负载均衡配置

系统允许管理员为同一模型配置多个凭证集，并具有以下功能：

• 凭证的轮询选择。
• 对受速率限制或调用失败的凭证自动进行冷却处理。
• 从提供方级别的凭证继承配置。
• 每个租户的配置存储。

与应用程序集成

Dify 中的应用程序通过 ModelManager 和 ModelInstance 接口与模型提供方系统集成。

在聊天和文本生成应用中的使用

API 和服务层

模型提供方系统通过处理 API 请求的服务类来公开其功能。

服务组件

• ModelProviderService：提供管理提供方和模型的方法。
• ModelLoadBalancingService：处理负载均衡配置。
• BuiltinToolManageService：管理使用模型的工具提供方。

错误处理和回调系统

系统包括强大的错误处理机制和回调系统，用于跟踪模型调用、处理失败情况并提供日志记录。

回调类型