您好,我是9月份刚入坑超分重建的,想在这个方向做一篇基于edsr模型加入注意力机制的小论文,看了您的文章,我倍有感悟,我想请问一下,文章里的空间注意力,是在原有的edsr的采样过后来增加注意力机制进行实现的吗,这样做会不会提高峰值信噪比呢,目前实验还没有开始做🤗,您如果有时间,希望能帮助解答一下,谢谢嗷
您好,
edsr上加上attention机制的话实现起来从代码还是比较简单的。原贴中的attention机制之一的空间注意力机制,是在edsr的某一层feature maps输出,对该feature maps的通道域处理,得到关于空域的权重。具体操作可以参考 SAE 这个机制的实现。也就是说注意力机制是在feature maps层面操作的。
关于第二个问题,会不会提高PSNR。不好说,可能提升也可能没效果【重构的图像效果太差了】。你可以试一试,多做对比实验。还有就是,注意力机制在超分问题应用,往往会产生 shooting的解【即生成的图像锐利、不像真的】。因为attention机制的本质就在于对空域或者通道域进行加权处理,从而获得feature maps的增强。你可以可视化出来看某一层的feature maps。
对于超分问题来说,取决于你采用什么注意力机制,以及放置注意力机制在网络中的位置【这点很关键】。
祝好运~