pytorch模型部署
模型部署
·
大规模部署PyTorch模型需要额外的功能，如打包模型、配置运行时环境，公开API端点、记录和监控以及管理多个模型版本。
| Python API | 执行快速原型设计、培训和实验； 程序 Python 运行时。 |
| TorchScript | 提高性能和可移植性（例如，加载和运行 C ++中的模型）；编程非 Python 运行时或严格的延迟 和性能要求。 |
| TorchServe |
一个快速的生产环境工具，具有模型存储、A/B 测试、监控 |
| tensorRT | nvidia ,GPU上做inference |
| libtorch | pytorch的C++版本，支持CPU端和GPU端的部署和训练 |
| ONNX |
部署到具有 ONNX 运行时或 FPGA 设备的系统 |
| tengine | 阿里基于 nginx修改 |
| Mobile libraries |
部署到 iOS 和 Android 设备 |
（1）app：
reference：
GitCode 天启AI是一款由 GitCode 团队打造的智能助手，基于先进的LLM（大语言模型）与多智能体 Agent 技术构建，致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话，还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力，真正做到“一句话，让 Al帮你完成复杂任务”。
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)