发现Resnet34训练精度高，验证精度低。探讨下原因会是什么？

首先我先贴出项目代码以及运行结果https://www.kaggle.com/code/liangyz2019/resnet34-flower

img

resnet34架构本身应该是没问题的，大家可以自行验证下。

我们从结果图上可以看到训练集的精度正常上升至0.99，验证集精度一开始也同步上升，但到达0.75后，就一直在这附近波动

数据集大约5000张图片，进行了resize，RGB去均值以及缩放至[-1,1] ，数据增强只进行了水平翻转。

 学习率因素：我初始学习率设得是0.01 。想着可能是设小了，调为0.1，结果直接爆炸了。如果是因为设得大了的话，后面学习率还有衰减，后续减小后应该也有变化才对。

过拟合：每一个激活函数前面都有一个BatchNormalization，应该不至于过拟合吧。

没想明白为什么会出现这个现象，希望大家可以一起探讨交流下。

从你曲线上来看，val的精度并没有下降，还没过拟合。

原因大概率是你val里的data有些与你train的data相差过大，特征没有采集到。自然对val的表现就不那么好，对train增加符合val的形态特征的数据是一个解决办法