我的数据集是通过视频每隔2秒截取出来,但由于视频2秒过后截取的图片,几乎是一模一样的,就算取出来的数据集随机打乱,分成训练集,验证集,测试集,但依然测试集和训练集的图片太相似,以至于测试集测出来的性能特别高,但是用到实际中却不是想像的那么好,测试集测出来的性能不准确。这时候我应该怎么划分训练集,验证集,测试集
监控视频里面截取的?如果几乎一摸一样,建议删除掉这部分重复的吧,留下一些就可以,多余的对于数据集来说没有多大的意义,反而训练时间变长了。
对于数据集来说,最终要的是要看数据的分布情况而不是数量,分布越广越好而不是数量,只不过一般来说数量越多和分布越广都是正相关,像你这种情况就不是了,还不如多收集一些不同的数据,包括不同角度的也可以