模型训练过程中loss会突然上升然后下降，然后循环这种状态，什么原因呢？

模型训练过程中loss会突然上升然后下降，然后循环这种状态，这是什么原因呢？

这很正常，因为调整权重的过程中，可能某个因素的突变会影响整个全局很多，然后再找到新的值继续降低梯度。要更多的训练看是不是过拟合

尝试用一下LayerNormalization

请问训练loss一开始下降然后一直上升，而测试验证loss都基本上是下降的趋势，这种什么原因？怎么解决