原生的torch是float32的，我们可以借鉴模型量化的思想将其变成float16，而且pytorch自身就定义了半精度的tensor

假设我训练的一个模型为model，我们在运算的时候直接将模型转成半精度的模型，怎么做的呢？直接使用model.half()就行

model.half()
model.cuda()

假设我们有个float32的tensor的变量 img，为了使用半精度的模型，同样需要将其输入转成HalfTensor

img=img.type(torch.HalfTensor).cuda()

现在就可以正常使用半精度的模型了：

out = model(img)

我们可以对比一下效果，这里我自己拿了一个模型计算了一下：

完整版模型推理时间：0.03268694877624512秒
半精度模型推理时间：0.018633127212524414秒

速度将近提升了一倍