GPU异构计算中心的案例一 —— 开源 | 数算岛AI计算平台（GPU池化软件） - 一站式 AI人工智能训练推理平台

存在无法快速支持跨设备多卡训练，卡资源碎片化，资源调度不灵活，资源利用率低和无法统一监控管理资源等问题。快速支持跨设备多卡训练，有效降低算法工程师的工作负载；卡多卡训练加速比，相比于单卡，可达。集群，既增加了软件定义带来的使用。Pulg-In+虚拟化技术。资源池化解决方案改造当前基于。管理便捷性，又无需修改上层。业务的训练任务，平台采用。卡为最小单位为用户分配。

文慧的科技江湖

927人浏览 · 2024-01-15 19:20:05

文慧的科技江湖 · 2024-01-15 19:20:05 发布

互联网行业AI训练平台案例

——容器+NV Device Pulg-In+虚拟化技术构建弹性资源池

背景	某头部互联网搜索公司的AI训练平台支撑搜索的全AI业务的训练任务，平台采用K8S+Docker+NV Device Pulg-In方式，以物理GPU卡为最小单位为用户分配GPU资源。
痛点	存在无法快速支持跨设备多卡训练，卡资源碎片化，资源调度不灵活，资源利用率低和无法统一监控管理资源等问题。
方案	资源池化解决方案改造当前基于K8S+Docker的GPU集群，既增加了软件定义带来的使用/管理便捷性，又无需修改上层AI应用。
客户收益	•场景：支持训练、研发等用户AI应用场景； •GPU使用率提升：验证跨设备16卡多卡训练加速比，相比于单卡，可达14.8倍； •工作效率提升：快速支持跨设备多卡训练，有效降低算法工程师的工作负载；

天启AI社区

GitCode 天启AI是一款由 GitCode 团队打造的智能助手，基于先进的LLM（大语言模型）与多智能体 Agent 技术构建，致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话，还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力，真正做到“一句话，让 Al帮你完成复杂任务”。

更多推荐