强化学习的策略梯度是怎么计算的？

这里从第二步到第三步是怎么推导的？G(\tau_{0:t}) 怎么消失了？