我使用五种方法同时对原始数据和主成分分析PCA处理之后的数据进行分析,并且进行回判和预测,发现SVM和神经网络前后变化不大,但是XGBoost、AdaBoost以及Bayes的成功率反而有所降低,请问是不是因为这几个方法不适合主成分分析降维?
这个和你的数据的关联度有关。做了PCA降维以后,那些关联性比较小的被你剔除了,它们或多或少包含了一些信息也就丢失了。那么或多或少会影响精度。
但是从另外一个角度看,如果你的计算规模大幅缩小,那么你机器学习的效率就提高了,在给定的有限时间和成本上,学习效率提高,你反倒可以得到更好的效果。
打一个比方,我们要挖金子,你说是先探明哪里有矿再挖掘,找到的金子多,还是漫无目的挖掘找的多?这个问题得这么看:
如果你有无限多的时间、不计成本,你不管哪里有矿没矿,把整个地球全部挖一遍,肯定得到的金子最多,因为即便不是矿的地方,多少也能挖一点点非常微量的金子,甚至海水中都溶解着金子。
但是现实中,我们不是有无穷多的矿工,无穷多的时间,那么先找到哪里有矿,在矿场挖,在给定的成本里,肯定比随便挖挖到的金子多。
主成分析是数据处理过程,和使用那种模型没有直接的关系,成功率下降的原因:1,处理后的模型需要重新训练调优你没做 2:数据纬度和数据集尺寸和选用的不太适合所选用的模型 3、主成分析会导致一部分的信息丢失(但一般使用主成分析处理数据是在保证不影响判别性能是采用的) 。。。等等其他原因。
但可以确定的是:主成分析肯定使用于以上你所列的所有模型算法