不同深度模型的混合精度策略如何确定？有没有高性能计算自动化方法？

主要的问题是策略如何确定，在图改写的维度主要基于规则和底层硬件的特性来制定一个合理的规则，对于loss-scale策略是基于auto loss-scaling的自动化控制策略。可能会有更多维度的精度，比如INT8，INT4，这个控制我们团队有一些已经发布的，也有正在研究的一些结果，会去控制混合精度策略，类似于哪个layer选择什么精度才是合理的，会有一些auto的概念。