T4 4卡负载率低的问题如何解决？硬件还是软件？

从软件角度来看，不太确定用的是哪一个框架，不同的框架实现了同一个算法，可能在载率上是不太一样的，可以借助刚才提到的Nsightsystems去分析瓶颈到底出现在哪。如果真的是CPU上的计算太多了，GPU上的计算量本来就少，这时如果负载低其实是预期之中的，可以通过一些其他的方法去改进它。