时间：2022-03-13 06:51:01 | 来源：行业动态
时间：2022-03-13 06:51:01 来源：行业动态
Horovod实质上是Uber开发并开源的一套先进的分布式系统，它并不依赖于某个框架，而是采用目前业界广泛认可的基于环形All-reduce通信的同步SGD算法，通过计算与通信异步、梯度合并、梯度压缩等设备间通信优化手段，完成allreduce、allgather等集体操作通信工作。这一特性使得Horovod可以非常方便地与主流深度学习框架TensorFlow、PyTorch、 MXNet等进行匹配，在大规模GPU集群上的训练性能远高于原生框架的训练性能，提供非常高效的分布式训练性能加速。Horovod的另一大优点在于其提供的接口极为简单，用户只需修改几行代码，就可实现显着的训练性能提升。关键词：需求,增加,急剧
在线咨询
