关于#机器学习#的问题:最近学习注意力机制,不太了解一些注意力的参数,比如seattention里的channel和reduction表示什么,看到很多注意力机制里都有提到

最近在学习注意力机制,对其中的参数不太了解,比如
se=SEAttention(channel=512,reduction=8)里面的channel和reduction是什么意思,求各位指点一下

img


你看代码就知道了,channel就是输入的通道数,reduction就是输出通道减少的倍数,也就是输出通道数为channel/reduction

如果要在一个模型里面加入这个注意力,是否需要调整channel和reduction保持和模型里面前后的一致?