首先tensorflow2.0-gpu安装成功,cuda10.0,cudnn7.6.4.38安装成功,版本没问题。
使用tf.test.is_gpu_available(),返回true,说明程序调用成功gpu。
程序运行中查看GPU使用情况,在这个表中看到GPU显存使用100%,
右上角的CUDA Version:10.2,但是我确实安装的10.0版本的,而且安装目录可查出来,环境变量中也是10.0版本,使用nvcc -V查看的也是10.0版本。
总之GPU已经成功调用。
但是在训练Unet模型时速度却很慢,batch size设置为16(也尝试过64,32),
显卡是quadro gv100,
训练一个batch size竟然需要30多秒,这么高性能的显卡为什么在训练模型时会这么慢呢。
显卡应该很快
我看这个显卡的介绍,每秒处理几十张数据肯定是没问题的,但是现在的速度就是很慢。
你看下是不是训练的参数有问题
程序在kaggle跑的时候就没问题,而且速度还挺快的
把网络结构调大试试
小的时候可能cpu跑的比gpu快,要不然就是在哪个节点训练的时候卡住了导致慢
网络有7千万个参数,够大了,也试过4千万个参数的,都不行
那是不是硬件问题呀,硬件加速没开吧
硬件也加速了
那不知道是啥了,可能也就这样了
嗯,非常感谢您的回答
不用客气