我在不进行梯度切割时候是梯度爆炸的,通过设置梯度裁剪c=0.005 不再梯度爆炸,但学习率为50时loss才能正常下降,acc达到99%,学习率为0.01时loss不能正常下降,acc只有80多。
不知道你这个问题是否已经解决, 如果还没有解决的话:在传统的逻辑回归算法中,学习率(learning rate)通常是一个小于或等于1的正数。较小的学习率可以确保模型的收敛性和稳定性,同时避免更新步长过大导致模型在梯度下降过程中错过最优解。具体的学习率取值通常要根据具体问题和数据集的特点进行调整。
然而,在某些优化算法和深度学习框架中,学习率可以超过1。例如,一些自适应学习率算法(如AdaGrad、RMSprop、Adam)可以根据梯度变化情况自动调整学习率,并且允许学习率在迭代过程中适应性地增大或减小。
总的来说,对于传统的逻辑回归算法,一般建议将学习率设置为小于或等于1的值,而对于一些优化算法和深度学习框架,可以根据具体情况选择适当的学习率取值。