深度学习中内存突然降低,但是训练时间变长了

img


深度学习训练过程中内存突然降低,但是训练时间却变长了,为什么?内存也够用,是突然自动降低的

是不是训练过程中调整batchsize了?
这个问题好复现吗,每次都出现?
看看源码,训练一段时间后输入数据是否有更改..
或者 加print 打印相关信息 或者debug一下

一般来说,只会每次第一个epoch显存会比较大,后续就会变小。
你这个是断点重新训练?还是正常训练到99的时候突然间变小?我感觉是你断点重新训练的关系大一些。

不知道你这个问题是否已经解决, 如果还没有解决的话:

如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^