Caffe 深度学习accuracy 在0和1之间来回变化

我用lenet网络识别语谱图，loss降到1左右之后accuracy每50次迭代在0和1之间来回变化是什么原因？如何才能让他稳定