几何方法扩充了图片类的数据集，为什么扩充完之后网络反而训练到几轮就不动了

用没有处理过的图片数据集跑卷积神经网络能跑，但是由于数据集各种类型分布图片数量不均匀，并且数量差距太大，所以需要把小量类别扩充，但扩充完跑网络反而一训练到第五轮就不动了，训练也没停止，但一直不往下进行，就一直卡在这。如下图，数据增强方法我就只用了旋转（各种度数），和翻转两种方式。
求各位能指点下吗，很迷惑。