深度学习训练集损失正常下降，但验证集上震荡地非常厉害是怎么回事？

如图所示，训练集上下降还是比较正常的，但验证集上的P，R，F1三个指标一直在0.6-0.72之间蹦跶，遂做了一个验证集的损失，训练集有360个样本，batch为20，而验证集样本40个，batch为10，是不是因为训练样本和验证样本太少了？
刚开始以为是过拟合，BatchNorm归一化和正则化都试过，效果不大。