ChainerMN

chainerMN ChainerMN依赖于MPI进行节点间通信,以充分利用速度更快的网络基础设施(如InfiniBand)具备的优势。然后,NVIDIA的NCCL用于GPU之间的节点间通信。

下图显示了利用InfiniBand在提高性能方面的优势,使ChainerMN实现了~72%的准确度。

chainerMN
如需了解有关ChainerMN的更多信息,请点此继续阅读