理解AI智能体领域格局

尽管我们看到许多智能体技术栈和市场分布图，但我们倾向于不认同它们的分类方式，并发现这些分类很少能真实反映开发者实际使用的工具。过去几个月，AI智能体软件生态系统在记忆能力、工具调用、安全执行和部署等方面取得了显著进展。基于我们在开源AI领域一年多的实践经验和七年以上的AI研究积累，我们决定分享自己构建的"智能体技术栈"，以呈现更贴合行业实践的技术全景。

从大型语言模型到智能体的演进

2022至2023年间，我们见证了LangChain（2022年10月发布）和LlamaIndex（2022年11月发布）等LLM框架和SDK的崛起。与此同时，通过API调用LLM服务的标准化平台逐渐成熟，自主部署LLM推理的技术（如vLLM和Ollama）也形成了稳定生态。

进入2024年，行业关注点显著转向AI"智能体"及更广义的复合系统。尽管"智能体"作为强化学习领域的概念已存在数十年，但在ChatGPT时代，它被重新定义为一种由LLM驱动、能自主输出行动指令（工具调用）的系统。这种结合工具调用、自主运行和记忆能力的范式，标志着从基础LLM向智能体的跨越，也催生了新一代智能体技术栈的兴起。

智能体技术栈的独特之处是什么？**与基础的LLM聊天机器人相比，智能体是一个显著更复杂的工程挑战，因为它们需要状态管理（保留消息/事件历史、存储长期记忆、在智能体循环中执行多次LLM调用）和工具执行**（安全执行LLM输出的动作并返回结果）。因此，AI智能体技术栈与标准LLM技术栈截然不同。让我们从底层的模型服务层开始拆解当今的AI智能体技术栈：

模型服务层（Model Serving）

在AI智能体的核心是大型语言模型（LLM）。要使用LLM，需要通过推理引擎部署模型，最常见的方式是付费API服务。

• 闭源API模型推理服务商： OpenAI和Anthropic凭借其私有尖端模型（如GPT-4、Claude 3）处于领先地位。

• 开源模型API服务商： Together.AI、Fireworks和Groq等平台通过付费API提供开源权重模型（如Llama 3）的托管服务。

• 本地模型推理引擎：

  **业余爱好者（"AI发烧友"）**：Ollama和LM Studio是两大热门工具，支持在个人电脑（如M系列苹果MacBook）上本地运行模型。
  
  **生产级GPU部署**：vLLM是生产环境中基于GPU部署的主流选择，SGLang则是面向类似开发者群体的新兴项目。
  
  **本地个人设备运行**。
  

存储层

存储是智能体（具有状态）的基础构建模块——智能体的核心特征在于其持久化状态，包括对话历史、记忆以及用于RAG的外部数据源。

• 向量数据库： Chroma、Weaviate、Pinecone、Qdrant和Milvus等向量数据库被广泛用于存储智能体的"外部记忆"，使智能体能够利用远超上下文窗口容量限制的数据源和对话历史。

• 传统数据库的向量扩展： Postgres（诞生于80年代的关系型数据库）通过pgvector扩展支持向量搜索。基于Postgres的公司如Neon（无服务器Postgres）和Supabase，也为智能体提供嵌入向量搜索与存储服务。

工具与库层

标准AI聊天机器人与AI智能体的核心区别在于，智能体具备调用"工具"（或"函数"）的能力。在大多数情况下，这种操作的机制是LLM生成结构化输出（例如JSON对象），指定要调用的函数及其参数。关于智能体工具执行的一个常见误解是：工具执行并非由LLM提供商完成——LLM仅负责选择要调用的工具和提供参数。支持任意工具或任意参数的智能体服务必须使用沙箱（如Modal、E2B）来确保安全执行。

所有智能体都通过OpenAI定义的JSON Schema调用工具——这意味着不同框架的智能体和工具实际上可以互相兼容。例如Letta的智能体可以调用LangChain、CrewAI和Composio的工具，因为它们都遵循相同的Schema规范。因此，针对常见工具的供应商生态正在快速成长：

• 通用工具库：Composio作为热门通用工具库，还提供授权管理功能

• 垂直专用工具：

• Browserbase（网页浏览专用工具）

• Exa（网络搜索专用工具）

随着更多智能体的开发，我们预计工具生态将持续扩展，并为智能体提供身份验证、访问控制等新功能。

智能体框架

智能体框架负责编排LLM调用并管理智能体状态。不同框架在以下方面存在设计差异：

1. 智能体状态管理

   状态序列化： 多数框架引入了状态"序列化"概念（如将状态保存为JSON或字节流），允许通过加载序列化文件恢复智能体的对话历史、记忆和执行阶段。

   数据库持久化： Letta等框架将所有状态存储在数据库（消息表、智能体状态表、记忆块表）中，无需显式序列化。这种设计支持直接查询状态（例如按日期检索历史消息），并影响系统的扩展性（处理长对话历史或多智能体场景）和状态修改灵活性。

2. 上下文窗口结构

每次调用LLM时，框架会将智能体状态"编译"到上下文窗口中。不同框架以不同方式组织上下文窗口内的数据（如指令、消息缓冲区），这直接影响智能体性能。建议选择能透明化上下文窗口管理的框架，以便精确控制智能体行为。

3. 多智能体通信

• 消息队列： Llama Index通过消息队列实现智能体通信。

• 显式抽象层： CrewAI和AutoGen提供专门的多智能体抽象接口。

• 直接调用机制： Letta和LangGraph支持智能体直接互相调用，允许集中式（通过监督智能体）或分布式通信。

• 兼容性趋势： 多数框架现已同时支持单智能体与多智能体场景，因为设计良好的单智能体系统应能轻松扩展为协作系统。

4. 内存管理方法

为突破LLM上下文窗口限制，各框架采用不同内存管理技术：

• 基于RAG的记忆： CrewAI和AutoGen完全依赖检索增强生成技术。

• 高级记忆技术： phidata和Letta集成自编辑记忆（如MemGPT）、递归摘要等创新方法。

• 自动化工具： Letta提供内置记忆管理工具，支持按文本/数据搜索历史消息、写入记忆、编辑上下文窗口。

5. 开源模型支持

• 模型提供商的隐式优化： 主流模型提供商通过重采样输出、提示词工程（如"请输出JSON"）等技巧确保工具调用格式正确。

• 框架适配挑战： 支持开源模型需要框架自行处理上述问题，因此部分框架仅限支持主要模型提供商。

选择框架的关键考量

当前构建智能体时，框架选择应基于具体需求：

• 应用类型：对话型智能体 vs 工作流自动化

• 运行环境：Notebook实验 vs 生产级服务

• 模型支持：对开源权重模型的需求

未来框架的核心差异将体现在部署流程中，状态/内存管理和工具执行的设计决策将更具决定性。

智能体托管和服务

当前大多数智能体框架的设计仍局限于Python脚本或Jupyter Notebook的本地运行环境。但我们认为，未来的智能体应被视为可部署到本地或云端基础设施的服务，通过REST API访问。正如OpenAI的ChatCompletion API成为LLM服务的行业标准，我们预计未来会出现统一的智能体API标准——尽管目前这一领域尚未形成明确领导者。

部署智能体服务的核心挑战

与部署LLM服务相比，智能体服务的部署复杂性显著增加，主要源于：

状态管理：

• 应用可能需要运行数百万个智能体，每个智能体的对话历史、记忆和执行状态持续增长。

• 从原型到生产环境时，智能体状态需经过数据规范化（如结构化存储、索引优化），而非简单的临时存储。

工具执行安全：

• 工具依赖（如Python包版本、系统环境）需显式存储在数据库中，以便服务重建运行时环境。

• 需隔离执行环境（例如通过Docker容器或安全沙箱），防止恶意代码渗透。

API标准化：

• 智能体交互必须通过严格定义的REST API接口实现，而非脚本内直接调用。

• 需支持异步通信、超时重试、速率限制等生产级API特性。

当前实践与未来趋势

• 现状： 开发者通常自行组合FastAPI（构建API层）、Postgres（状态存储）、Modal/E2B（安全执行）等技术栈，但这一过程重复且易出错。

• 框架演进方向：

• 内置生产化能力： 主流框架（如LangChain、CrewAI）正逐步集成数据库连接器、API生成器和部署工具。 例如LangChain近期推出的langserve模块可自动将智能体转换为REST API。

• 状态管理抽象化： 框架可能引入声明式状态定义（类似Django模型），自动处理序列化、版本迁移和查询优化。

• 混合部署模式： 支持智能体在本地（调试模式）与云端（生产模式）的无缝切换，类似PyTorch的train/eval模式切换。

关键决策点

选择智能体托管方案时需评估：

• 状态存储成本：向量数据库（如Pinecone）与关系型数据库（如Postgres）的成本权衡

• 执行环境隔离：轻量级沙箱（如E2B）与完整容器化（如Kubernetes）的安全性与开销平衡

• API治理需求：是否需要集成身份验证（OAuth）、审计日志、 SLA监控等企业级功能

未来，智能体框架的竞争焦点将从"原型构建能力"转向"生产就绪性"，而部署工作流的成熟度将成为核心差异化因素。

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓