并行训练的时候有哪些方法加快训练速度？

数据并行：将一大块数据切成小份，分发给几个完全相同模型，分别训练，之后聚合梯度。

模型并行：模型太大，一张卡放不下，要放到多张卡上去。