神经网络加上注意力机制,精度反而下降,为什么会这样呢?

问题遇到的现象和发生背景

神经网络加上注意力机制、或者是其他模块后,精度反而下降,为什么会这样呢?
CNN模型,二分类问题,2层卷积层,加上CBAM之后,模型精度反而不如不加(已排除过拟合和欠拟合)。不知道为什么会出现这个问题?

分别尝试 1、在中间层两侧加 2、在编码阶段每一层卷积后加
效果都不好呢,55555

可能是过拟合导致的,可以观察一下目前的拟合效果如何,效果已经很好了,加上额外的就会这样,或者可以观察那些指标的变换,例如f1分数,宏微观f1等等