实习生一枚,刚接手的GBDT+LR的项目,发现lr训练的时候直接用原始特征。连续特征没有离散化,类别也没有做
onehot处理,比如用数值x代表星期几,星期几本身是没有大小的意义。这样训练的结果没有问题吗,求各位高手指点
没人回答,就自答一波,不对的希望大神指出来。对于线性模型,这样做是不合理,星期几或者年龄可以看做连续特征丢进去训练,但线性模型学习能力有限,捕捉不到非线性特性,就算是有大小意义的连续性特征其与label也存在非线性关系,比如对类似商品的收藏数与是否购买该商品的关系,也应该对其离散化,再进行独热编码,这样就把一个连续特征与label的关系
化成了该特征多个阶段与label直接的关系,引进了非线性关系,所以会有更好的鲁棒性。如果想用原始特征的话应该考虑的复杂的非线性模型。参照李沐老师的话:模型是使用离散特征还是连续特征,其实是一个“海量离散特征+简单模型” 同 “少量连续特征+复杂模型”的权衡