在什么情况下需要用到高性能GPU并行计算，什么样的任务或者说什么量级的数据会需要用集群？

有很多场景都会用到大规模GPU并行集群，如百度的语音识别系统，网络模型有3亿个参数，需要20 亿亿次EFLOPS 计算量；谷歌的自然语言翻译系统，有87亿个参数，需要100亿亿次计算量。这些神经网络模型做训练，都需要深度学习GPU集群。

多高性能GPU并行，主要针对算力要求非常高的场景，比如训练大规模数据集，像刷ImageNet，COCO等。或是处理大量的监控视频等。对于高校科研，在小数据集上调算法，几块卡就够了，除非是做网格式调参可能需要一个集群。