pytorch权重初始化

如果不写权重初始化的函数 pytorch网络是用什么方法来初始化网络各层权重的呢

参考GPT和自己的思路:如果没有对网络中的权重进行初始化处理,PyTorch会使用默认的方法对各层权重进行初始化,其中普通的线性层权重初始化为均匀分布的随机值,卷积层权重初始化为Kaiming He初始化。这些默认的初始化方法并不一定适用于所有模型和任务,因此在一些特殊情况下,我们可能需要自定义初始化方法来更好地训练我们的网络。