NVIDIA在目标检测模型量化方面,怎样做到速度和精度之间的平衡。NVIDIA 在目标检测采用哪种算法?

蓝海大脑AI服务器事业部负责人表示:速度上面可以用FP16或INT8来达到目标的速度。在精度上面,如果用INT8,目前有很多方法,最基本的有TensorRT INT8基本的量化算法,像entropy、linux这些calibration的算法。如果校准的算法不满足精度的要求,有些debug的手段,去检查当前网络中哪些层影响精度,后面再去优化它。甚至有些可以在训练阶段去调整INT8的精度,把训练阶段设生成的INT8精度校准表导入到TensorRT里,让TensorRT在做influence的精度跟训练时的精度一样。

蓝海大脑 京ICP备18017748号-1