深度学习，数据标准化问题

在进行深度学习训练时，想提前进行数据标准化，比如：(xi -mean(xi))/sd(xi )，请问计算mean和sd时，是将所有的训练数据和验证数据一起用来计算mean和sd，还是分开计算呢？