成都建设监理协会网站网址,成都模板网站建设服务,响应式网站建设的好处,h5游戏大全在线玩概念
PyTorch是非常流行的深度学习框架#xff0c;它在主流框架中对于灵活性和易用性的平衡最好。
分布式训练根据并行策略的不同#xff0c;可以分为模型并行和数据并行。
模型并行
模型并行主要应用于模型相比显存来说更大#xff0c;一块 GPU 无法加载的场景#xf…概念
PyTorch是非常流行的深度学习框架它在主流框架中对于灵活性和易用性的平衡最好。
分布式训练根据并行策略的不同可以分为模型并行和数据并行。
模型并行
模型并行主要应用于模型相比显存来说更大一块 GPU 无法加载的场景通过把模型切割为几个部分分别加载到不同的 GPU 上来进行训练
数据并行
这个是日常会应用的比较多的情况。即每个 GPU 复制一份模型将一批样本分为多份分发到各个GPU模型并行计算。因为求导以及加和都是线性的数据并行在数学上也有效。采用数据并行相当于加大了batch_size得到更准确的梯度或者加速训练
常用的 API 有两个
torch.nn.DataParallel(DP) torch.nn.DistributedDataParallel(DDP) DP 相比 DDP 使用起来更友好代码少但是 DDP 支持多机多卡训练速度更快而且负载相对要均衡一些。所以优先选用 DDP 吧。 参考
Pytorch 分布式训练DP/DDP_pytorch分布式训练_ytusdc的博客-CSDN博客
PyTorch分布式训练简明教程(2022更新版) - 知乎
Pytorch分布式训练 - 知乎
Pytorch多机多卡分布式训练 - 知乎
Pytorch - 多机多卡极简实现附源码 - 知乎
