请问，如何优化pytorch的模型预测速度

Namespace(backbone='resnet', batchSize=4, epoch_size=3, gpu_id='0', lr=1e-07, nAveGrad=1, nEpochs=100, nTestInterval=1, nThreads=1, phaseprediction='prediction', phasetest='test', phasetrain='train', resume_epoch=0, snapshot=3, testBatch=1, useTest=True, wd=0.0005)
------------ Options -------------
backbone: resnet
batchSize: 4
epoch_size: 3
gpu_id: 0
gpu_ids: [0]
lr: 1e-07
nAveGrad: 1
nEpochs: 100
nTestInterval: 1
nThreads: 1
phaseprediction: prediction
phasetest: test
phasetrain: train
resume_epoch: 0
snapshot: 3
testBatch: 1
useTest: True
wd: 0.0005
-------------- End ----------------
Constructing DeepLabv3+ model...
Number of classes: 2
Output stride: 16
Number of Input Channels: 3
这是相关的参数设置，gpu：为2080ti，cuda:10.0
预测单张图片(1024*768)的速度很慢，要7-10s，有什么方法可以缩短时间到1-2s

您好，我也碰到同样的问题，请问您是如何优化模型预测速度的？我训练的分类器要90ms预测

数据那么大吗batch_size才4

lr=1e-07,
在不影响学习效果的情况下,学习率可以高一点
如果gpu负载低，显存足够，batchSize=4这个调整大一些