服务器上onnxruntime-gpu 调用结束,如何释放显存

我将torch模型部署到服务器上,每次请求调用完模型,可以通过torch.cuda.empty_cache()来释放显存,我现在转成了onnx模型,使用onnxruntime-gpu 调用时候,发现显存没方法释放,会导致占用很多额外的显存情况,我想请问一下,有没有类似的方法

抱歉,重新查了下,onnxruntime官方并没有提供和释放gpu显存有关的接口。参考:

原来的例子应该过时了。按道理run里面应该会自动清理。但是我没有足够的证据。需要进一步查阅。