YOLOV7使用mosaic数据增强时,是所有进入网络训练的图像都会进行moasic后再进入网络吗
CutMix论文: https://arxiv.org/pdf/1905.04899v2.pdf
最大特点:使得yolov4只通过单CPU就能完成训练,不用再担心设备问题。
具体方式:
- 11、采用常用的数据增强方法(如:亮度、饱和度、对比度;随机缩放、旋转、翻转等)对所有的图像进行数据增强;
- 22、采用CutMix数据增强方法。详细见下。
- 33、采取马赛克(Mosaic)数据增强方法,即随机取四张图像拼接为一张图像。
由图可得(左):CutMix表现最优。- (1)ResNet-50:采用常规的数据增强方法。如:调整亮度、饱和度、对比度;随机缩放、旋转、翻转等。
- (2)Mixup:将猫狗两张图像进行图像融合,其中狗和猫的权重参数都为0.5,故标签概率值都为0.5。
- (3)Cutout:随机删除/遮挡一个区域。
- (4)CutMix:随机删除/遮挡一个区域,并用A图像的一部分粘贴到B图像上。 如:将狗头替换为猫头,其中狗和猫的权重参数分别为0.6、0.4,故标签softmax的概率值分别为0.6、0.4。
备注1:softmax能够得到当前输入属于各个类别的概率。
备注2:标签(分类结果)会根据patch的面积按比例分配,计算损失时同样采用加权求和的方式进行求解。
数据增强的其余方法扩展: