python报错:

RuntimeError: Caught RuntimeError in replica 0 on device 0.

以及

RuntimeError: CUDA out of memory. Tried to allocate 30.00 MiB (GPU 2; 15.90 GiB total capacity; 15.08 GiB already allocated; 11.69 MiB free; 15.18 GiB reserved in total by PyTorch)

往往是GPU不够用,可以把当前设置的GPU块数增加几块(如果有好几块GPU)
例如:

   parser.add_argument('--gpu_ids', type=str, default='0,5,7')

通常gpu_ids是指示gpu的编号的参数,指定你当前空闲的gpu,这里指定的是0,5,7号gpu。

Logo

GitCode 天启AI是一款由 GitCode 团队打造的智能助手,基于先进的LLM(大语言模型)与多智能体 Agent 技术构建,致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话,还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力,真正做到“一句话,让 Al帮你完成复杂任务”。

更多推荐