LIghtGBM做回归时预测值都一样怎么解决

LIghtGBM做回归时预测值都一样,数据量比较小是24x16的,是否是和数据量太小有关?

# 训练模型所用代码
gbm = lgb.LGBMRegressor()
gbm.fit(x_train_lgb, y_train_lgb,
        eval_set=[(x_test_lgb, y_test_lgb)],
        eval_metric='rmse')

训练过程中,rmse也没有变化,请问问题可能出在哪儿啊?

img

是的,主要原因就是数据量太小,刚开始训练就面临停止,我记得你可以调整一下叶子节点最少包含的样本数控制过拟合,这个不能说有肯定的调整方式,只能选择最优的超参数组合降低学习率来完成模型训练

以下回答参考GPT并且由Bony-整理:
在回归问题中,预测值都一样通常表示出现了某些问题,下面列出一些可能的原因:

  1. 数据集中所有特征对于目标变量的影响都相同,导致模型无法区分不同的样本。你可以尝试进行特征选择或者工程化,去除对目标变量影响较小的特征。

  2. 数据集中存在大量缺失值或者异常值,导致模型无法学习到正确的特征关系。你可以尝试对缺失值进行填充,对异常值进行处理。

  3. 训练数据集太小,不能反映出真实数据的特征分布,导致模型过拟合。你可以尝试增加训练数据的数量,或者使用更简单的模型进行训练。

  4. 模型参数设置不合理,导致模型无法正常训练。你可以尝试调整模型的参数,比如增大叶子节点的数量、减小学习率等等。

你可以先尝试排除上述原因,然后再进行调整。如果问题仍然存在,你可以尝试使用其他回归算法或者工具包进行训练,以便找出更好的解决方案。