在相同的搜索次数下,随机网格搜索相比于全域网格搜索能搜索更大的参数空间,但是如果让全域网格搜索更加稀疏,不也能搜索更大的参数空间吗,感觉也可以提升效率
还看到一个说法是‘’抽样出的子空间可以一定程度上反馈出全域空间的分布‘’,但是稀疏的全域空间也可以反馈出全域空间的分布吧
没太明白随机网格搜索好在哪里,想请教一下,谢谢
因为随机网格搜索可以让我们在相同范围内尝试更多的不同的超参数值。
比如这是以前规则的网格搜索
其实关键点在于,
随机网格不改变网格大小,你想随机的数量可以随便改
而要来回改网格的稀疏程度很麻烦
随机网格搜索是一种基于穷举的参数寻优方法,它可以快速生成参数组合,然后在子空间中确定最优解。由于它不需要抽样出的子空间反映出全域空间,所以能够避免受到全域空间的限制,比全域网格搜索更加灵活。
随机网格主要就是运算速度快点,又不会过多地伤害搜索的精度,只要子空间足够大,随机网格搜索的效果一定是高度逼近枚举网格搜索的
该回答引用ChatGPT
请参考下面的解决方案,如果有帮助,还请点击 “采纳” 感谢支持!
随机网格搜索和全域网格搜索都是机器学习中的模型超参数优化算法。它们的目的是在搜索参数空间内找到最佳参数组合,使得模型的性能最优。
随机网格搜索通过在参数空间内随机抽样来搜索参数组合,这样可以探索更多的参数空间,尤其是当全域网格搜索所搜索的参数空间比较稠密时。然而,随机网格搜索的结果不一定完全可靠,因为它的搜索结果取决于抽样的随机性。
稀疏的全域网格搜索确实可以探索到更多的参数空间,但是在搜索的复杂度和可靠性方面仍然不如随机网格搜索。随机网格搜索既可以探索到更多的参数空间,也可以避免过度拟合,并且对搜索结果的可靠性也有所保证。
总的来说,随机网格搜索的优势在于它可以探索到更多的参数空间,从而使得模型性能更优。然而,全域网格搜索仍然是一种有用的方法,特别是在计算资源有限的情况下。