网络中加入注意力机制，放在主干还是fpn？

以RetinaNet为例，很多改进算法都是se+Resnet放在主干网络，但也有人说放在fpn的层上会好一些。所以应该放在哪呢？

实验对比一下，谁能说放在哪个地方是最好