total_loss正常但是val loss出现nan是怎么回事啊?

在修改了原网络的backbone,加入了注意力机制后,在训练过程中total_loss正常但是val loss出现nan是怎么回事啊

梯度下降的过程中因为中间网络层是随机生成的初始权重,所以梯度下降的过程中可能陷入了局部最优,可以通过调试batchsize或者lr等超参数解决。