我使用了四层神经网络实现多分类问题，激活函数使用的是ReLU函数，最后一层使用的是softmax层。在反向传播后参数的小数位置会缺失，导致梯度难以有效下降。我尝试将原本所有的list都改为numpy的矩阵形式，但没有解决，也未找到其他解决方法。有人遇到过相关问题吗？或者能否给一个修改方向？感谢。或者说有无不让参数的小数部分被截断的方法？
从训练样本集中，抽取一批(batch)训练样本，通过整批数据的矩阵运算，得到这批样本损失的均值，减少更新梯度的次数提高训练效率