【相关推荐】
有了梯度更新公式,其中损失函数对各参数的梯度又该如何求解呢?事实上由于神经网络中参数(权重W和偏置b)通常较多,要想直接求解损失函数对这些参数的梯度,难度极大,所以在实际训练网络时,我们通常采用反向误差传播,即BP算法,巧妙地利用预测值与标签值的残差,从输出层到输入层反向地求解出损失函数对各层网络参数的梯度。
为避免文章过于冗长,本文跳过了神经网络基本结构,损失函数、激活函数的具体形式及其优劣,梯度下降的变种算法,以及优化梯度求解的BP反向误差传播算法等问题,相关内容我会在后续的学习中逐步更新,欢迎关注~