每个新模型的并行计算都从零开始实现是无趣的。
此外，优化同步工具以获得高性能也是有好处的。
下面我们将展示如何使用深度学习框架的高级API来实现这一点

12.6.1. 简单网络

12.6.2. 网络初始化

我们将在训练回路中初始化网络

12.6.3. 训练

如前所述，用于训练的代码需要执行几个基本功能才能实现高效并行：

• 需要在所有设备上初始化网络参数。

• 在数据集上迭代时，要将小批量数据分配到所有设备上。

• 跨设备并行计算损失及其梯度。

• 聚合梯度，并相应地更新参数。

最后，并行地计算精确度和发布网络的最终性能。除了需要拆分和聚合数据外，训练代码与前几章的实现非常相似。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-e7JBJHYo-1665751027913)(https://zh.d2l.ai/_images/output_multiple-gpus-concise_2e111f_50_1.svg)]

接下来我们使用2个GPU进行训练。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-91Bo8qL6-1665751027914)(https://zh.d2l.ai/_images/output_multiple-gpus-concise_2e111f_59_1.svg)]

12.6.4. 小结

• 神经网络可以在（可找到数据的）单GPU上进行自动评估。

• 每台设备上的网络需要先初始化，然后再尝试访问该设备上的参数，否则会遇到错误。

•     以上就是本篇文章【12.6. 多GPU的简洁实现】的全部内容了，欢迎阅览 ！ 文章地址：http://ww.kub2b.com/tnews/3975.html
       栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 企库往资讯移动站 http://ww.kub2b.com/mobile/ , 查看更多