基于Bi-LSTM模型算法,训练了10轮,结果显示train loss不断下降到了0.17;
但是test loss从0.51下降到0.47后,一直不断上升最后到0.67,这个怎么解决,修改参数设置可以解决吗?
参考GPT和自己的思路:
针对你的问题,出现train loss下降而test loss升高的情况,很可能是出现了过拟合。过拟合指的是训练集上的误差很小,但测试集上误差很大的情况,造成这种情况的原因可能是模型过于复杂,导致对训练集过度拟合,而在测试集上表现欠佳。
针对这种情况可以考虑如下解决方法:
总之,出现test loss升高的情况,可以从数据、模型结构以及超参数等多个方面分析与改进,达到优化模型的目的。
lstm在训练的时候其实小样本并不是很好,不要单单看loss,小心 overfit