用fp16的safe和unsafe op的区分的原则是什么？

safe以及unsafe op的区分有这样几个考量，一是op是否能够借助Tensor Core这种4X4的矩阵乘法以及累加来达到加速的功能，另外就是FP16本身的数值表达范围比较有限。所以有一些操作比如指数计算的结果可能会超出FP16的表达范围造成Overflow，我们认为这种操作是unsafe的，所以说主要是计算以及数值表达上的考量。