请问pytorch中如何实现CPU和GPU的分布式异构设计？

我们目前的方案是使用多台计算机的CPU做网络预测和生产数据，再使用单独的GPU服务器进行网络训练，请问pytorch中有什么方法可以实现CPU预测与GPU训练的分布式网络通信方案吗？

就你的需求来说，也就是cpu做正向传播，gpu做优化（反向传播）
只要把两者的模型共享就可以了。