消融实验需要冻结backbone吗

深度学习中，如果只改了neck部分的结构，那么在消融实验过程中，需要冻结backbone进行训练再做对比吗，还是不冻结backbone，整个网络一起训练