泊头建网站,免费域名注册解析,建阳建设局网站,债权债务交易网站开发一、Tensorrt学习补充
TensorRT支持INT8和FP16的计算。深度学习网络在训练时#xff0c;通常使用 32 位或 16 位数据。TensorRT则在网络的推理时选用不这么高的精度#xff0c;达到加速推断的目的。 TensorRT对于网络结构进行了重构#xff0c;把一些能够合并的运算合并在了…一、Tensorrt学习补充
TensorRT支持INT8和FP16的计算。深度学习网络在训练时通常使用 32 位或 16 位数据。TensorRT则在网络的推理时选用不这么高的精度达到加速推断的目的。 TensorRT对于网络结构进行了重构把一些能够合并的运算合并在了一起针对GPU的特性做了优化。 一个深度学习模型在没有优化的情况下比如一个卷积层、一个偏置层和一个reload层这三层是需要调用三次cuDNN对应的API但实际上这三层的实现完全是可以合并到一起的TensorRT会对一些可以合并网络进行合并。
