标签：mamicode broadcast gpu research idt soft center 朴素 microsoft
1、朴素All Reduce
假设两两GPU间的网络带宽为1GB/s，weight数据量1GB，那么broadcast（下图中的Receive）的通信时间
参考链接
1）Baidu All Reduce：
https://github.com/baidu-research/baidu-allreduce
2）Horovod：
https://arxiv.org/pdf/1802.05799.pdf
标签：mamicode broadcast gpu research idt soft center 朴素 microsoft
原文地址：https://www.cnblogs.com/yangwenhuan/p/11390823.html
