多个网络放在一起要怎么优化

我理解 neus的流程如上图所示
它能优化的loss只有一个color真值，但是他有两个MLP的网络，一个是学习sample_color的，一个是学习sdf值的，然后还有个可学习的参数s控制密度函数，颜色他能得到真值能优化好没问题 那sdf这个网络他没有sdf模型的真值 也没有深度信息的真值 他是怎么优化的效果那么好的
这多个网络放在一起要怎么优化