Pycharm运行Pytorch分布式代码的设置

Pytorch分布式代码的训练一般在命令行下启动，或者shell脚本启动。python3 -m torch.distributed.launch --nproc_per_node=8 --master_port=7129 train_PBAFN_stage1.py --name PBAFN_stage1\--resize_or_crop None --verbose --tf_log --batc

studyeboy

2144人浏览 · 2021-03-29 14:46:52

studyeboy · 2021-03-29 14:46:52 发布

Pytorch分布式代码的训练一般在命令行下启动，或者shell脚本启动。

python3 -m torch.distributed.launch --nproc_per_node=8 --master_port=7129 train_PBAFN_stage1.py --name PBAFN_stage1   \
--resize_or_crop None --verbose --tf_log --batchSize 4 --num_gpus 8 --label_nc 14 --launcher pytorch

但代码调试不便，用Pycharm运行Pytorch分布式代码需要做一些参数设置。

设置软连接

ln -s /home/xxx/.local/lib/python3.5/site-packages/torch/distributed/ /mnt/disk2/xxx/work/PF-AFN/PF-AFN_train/

在这里插入图片描述

设置参数
pycharm中，编辑训练脚本train_PBAFN_stage1.py的Edit Configurations，脚本选择软连接的/mnt/disk2/xxx/work/PF-AFN/PF-AFN_train/distributed/launch.py，参数设置如下：

--nproc_per_node=2 --master_port=7129 /mnt/disk2/xxx/work/PF-AFN/PF-AFN_train/train_PBAFN_stage1.py --name PBAFN_stage1 --resize_or_crop None --verbose --tf_log --batchSize 4 --num_gpus 8 --label_nc 14 --launcher pytorch

在这里插入图片描述

运行训练脚本即可

参考资料
Pycharm：运行、调试pytorch分布式训练代码

天启AI社区

GitCode 天启AI是一款由 GitCode 团队打造的智能助手，基于先进的LLM（大语言模型）与多智能体 Agent 技术构建，致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话，还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力，真正做到“一句话，让 Al帮你完成复杂任务”。

更多推荐