选自arXiv

作者：NouamaneLaanait、JoshuaRomero等

机器之心编译

分布式计算确实需要在很多GPU上训练，但你见过在排名第一的超算上训练深度模型，在2.76万块VGPU训练模型的方法吗？重要的是，通过新的通信策略，这么多GPU还能实现近线性的加速比，橡树岭国家实验室和英伟达等机构的这项研究真的Amazing。

论文链接：

转载请注明:http://www.aideyishus.com/lkgx/1422.html