现在遇到一个问题,机器学习采用贝叶斯算法进行迭代的时候遇到的局部最优问题该怎么解决呢。
我采用网格搜索的支持向量机进行的调参,参数是自己选择的几个。
贝叶斯优化在实际项目中很难做到很好的优化效果,因为依赖的条件太多了,结果也和参数之间的依赖关系太复杂,最后往往只能取到一个局部最小,即边际效用递减,高产出低回报。这里因为题主用的SVM,我大概猜测是小训练集,数据维度不会太复杂,我的建议是把步长拉大,这样它容易跨过局部,或者可以改用nni自动调参,效果会比贝叶斯好点,在我之前测试数据集上,或者也可以去看看理论,躲避老虎机的Exploration And Exploitation,这个链接为:
https://www.zhihu.com/question/33711002/answer/1435788341