提问!
训练集准确率顺序攀升,损失迅速下降。
但是验证集准确率一开始不变,后来上升,甚至损失是先增加后下降是什么原因呢?
谢谢!
你这图有点意思,第一张图,你的模型从第5个epoch开始往后训练集就达到了100%正确率,收敛得非常快,可见你的当前使用的模型对于进行训练的样本来说复杂度很高,这个模型可以拟合更复杂一点的样本数据。先开始验证集的loss很高准确率很低,显然模型没学到啥本质的特征,也就是一开始过拟合了,模型在验证集上过分关注细节和噪声而没学到能泛化的特征。从20个epoch以后,验证集损失下降准确率上升,看来还是挖掘到了一般特征。
这种情况其实可以通过一些正则化技术来避免,比如说用 Dropout、L1 或 L2 正则化等方法,又或者去掉一些层,限制模型的复杂度,避免模型在训练集上过拟合。当然,最好还是加一些更复杂的训练数据,提高模型的泛化能力。
btw:你第二章图的纵坐标标题错了,是loss