机器学习中,交叉验证可否与验证集合并使用呢?

小弟手里有一批数据,196个样本,想基于这些样本进行建模预测分类,另外还有100个外部样本用来进行最后的验证。目前,我已经把196个样本按照8:2的比例随机分成了训练集与验证集,训练集160个,验证集36个,并基于训练集使用LASSO进行了变量筛选,关于后续的建模过程,有两种思路:

1.基于训练集进行建模并使用交叉验证进行模型评价,然后于剩余的20%的样本中进行模型评价。最终于100个外部样本中进行验证。

2.基于剩余的20%的验证集,36个样本,每次选1个,剩下的和训练集一起作为大训练集,一起训练,然后用这1个样本进行评价,这样进行36次,最终求36次的平均,输出模型,于100个外部样本中验证。

想请教下,这两种思路是否都可行呢,那种思路更好些呢?万分感谢!

我们通常会采用留出法来验证,也就是分比例,固定训练集和验证集,数据量较少的时候是k折交叉验证或者留一法,你的数据量较少,建议采用k折交叉验证,比如说取k=10,是最常用的,而留一法就是你说的第二种方法,你可以查一下他们的区别和联系