CNN训练图像分类模型时，数据不平衡该如何处理？

如题，CNN训练图像分类模型时，数据不平衡该如何处理？

我有如下4类图像：
A类140张
B类360张
C类1200张
D类80张

训练时：
方案一：直接用ABCD四类的所有图像进行训练，这样做肯定会有数据不平衡现象发生，结果有可能会偏向C类；
方案二：ABCD四类都取80张图像进行训练，这样不会导致不平衡现象发生，但是鲁棒性会不会变差？
方案三：其他更多的方案

各位，你们遇到这种情况是怎么做的？不吝赐教！

当你用所有数据进行训练的时候，结果大概率是偏向c的，但是在实际工程中，我们是不会采取说为了数据平衡而选取第二种方案的，数据量太少的模型毫无鲁棒性可言，所以这个时候你要么用数据增强去添加对应的数据，要么使用类似focalloss之类的手段去控制样本在训练时的权重。最本质的手段还是添加更多的原始数据，增强后的数据也不是首选。数据的质量决定了你的模型的上限

复制样本数据少的类别，在训练的时候，每个mini-batch都能相对均匀的抓取每个类别的信息
最好的方式还是增加信息量

看我这篇博客，【图像分类--图片数据扩充】图片数据不够怎么凑 https://laidefa.blog.csdn.net/article/details/101314178

望采纳

微调一下少的数据集的，可以参考楼上的代码

最直接粗暴的就是将数据少的部分进行复制，比如A、B、C、D分别为500张，通过随机从A（140）复制得到360张，以此类推。
当然，这里的复制也可以是旋转，mask等操作。

题主看下这个：
（1）mask分支采用FCN对每一个RoI的分割输出维数为 Kmm K∗m∗m（其中：m表示RoI Align特征图的大小），即K个类别的 mm m∗m的二值mask ----> 保持 mm m∗m的空间布局，pixel-to-pixel操做须要保证RoI特征映射到原图的对齐性，这也是使用RoIAlign解决对齐问题缘由，减小像素级别对齐的偏差。 Kmm K∗m∗m二值mask结构解释：最终的FCN输出一个K层的mask，每一层为一类，Log输出，用0.5做为阈值进行二值化，产生背景和前景的分割Mask；
（2） L_{mask} Lmask 使得网络可以输出每一类的 mask，且不会有不一样类别 mask 间的竞争. 分类网络分支预测 object 类别标签，以选择输出哪一个mask，对每个ROI，若是检测获得ROI属于哪个分类，就只使用哪个分支的相对熵偏差做为偏差值进行计算；
（3）（举例说明：分类有3类（猫，狗，人），检测获得当前ROI属于“人”这一类，那么所使用的 L_{mask} Lmask为“人”这一分支的mask，即，每一个class类别对应一个mask能够有效避免类间竞争（其余class不贡献Loss）;
（4）对每个像素应用sigmoid，而后取RoI上全部像素的交叉熵的平均值做为 L_{mask} Lmask

我常用的解决方法：

1、数据增强：Data Augmentation
2、尝试不同的weights初始化方式：Xavier
3、设置关于不同种类误分类的penalty，想法类似于boosting
4、在loss function里添加weights权重以应对数据不均衡，例如 focal loss
5、有放回的sampling 取样重新构建数据集

从最终的效果看，基本上解决了数据不平衡的问题。

具体的代码层面还需要自己去实现

望采纳！

再找80张D图片，和20张A图片，ABCD每个取160张。

利用pillow扩展数据集

# -*- coding: utf-8 -*-

import os
import time
from PIL import Image,ImageChops,ImageEnhance

def image_reversal(img,savefilepath,save_filename):
    """ 图像翻转"""
    lr=img.transpose(Image.FLIP_LEFT_RIGHT) # 左右翻转
    ud=img.transpose(Image.FLIP_TOP_BOTTOM) # 上下翻转
    lr.save(savefilepath+save_filename)
    ud.save(savefilepath+save_filename)


def image_rotation(img,savefilepath,save_filename):
    """图像旋转"""
    out1=img.rotate(40) # 旋转20度
    out2=img.rotate(30) # 旋转30度
    out1.save(savefilepath+save_filename)
    out2.save(savefilepath+save_filename)


def image_translation(img,savefilepath,save_filename):
    """图像平移"""
    out3=ImageChops.offset(img,20,0) # 只沿X轴平移
    out4=ImageChops.offset(img,0,20) # 只沿y轴平移
    out3.save(savefilepath+save_filename)
    out4.save(savefilepath+save_filename)


def image_brightness(img,savefilepath,save_filename):
    """亮度调整"""
    bri=ImageEnhance.Brightness(img)
    bri_img1=bri.enhance(0.8) # 小于1为减弱
    bri_img2=bri.enhance(1.2) # 大于1为增强
    bri_img1.save(savefilepath+save_filename)
    bri_img2.save(savefilepath+save_filename)


def image_chroma(img,savefilepath,save_filename):
    """色度调整"""
    col = ImageEnhance.Color(img)
    col_img1 = col.enhance(0.7) # 色度减弱
    col_img2 = col.enhance(1.3) # 色度增强
    col_img1.save(savefilepath+save_filename)
    col_img2.save(savefilepath+save_filename)


def image_contrast(img,savefilepath,save_filename):
    """对比度调整"""
    con=ImageEnhance.Contrast(img)
    con_img1=con.enhance(0.7) # 对比度减弱
    con_img2=con.enhance(1.3) # 对比度增强
    con_img1.save(savefilepath+save_filename)
    con_img2.save(savefilepath+save_filename)



def image_sharpness(img,savefilepath,save_filename):
    """锐度调整"""
    sha = ImageEnhance.Sharpness(img)
    sha_img1 = sha.enhance(0.5) # 锐度减弱
    sha_img2 = sha.enhance(1.5) # 锐度增强
    sha_img1.save(savefilepath+save_filename)
    sha_img2.save(savefilepath+save_filename)


# 定义扩充图片函数
def image_expansion(filepath,savefilepath,save_prefix):
    """
    :param filepath: 图片路径
    :param savefilepath: 扩充保存图片路径
    :param save_prefix: 图片前缀
    :return: 图片扩充数据集
    """
    i = 1
    for parent, dirnames, filenames in os.walk(filepath):
        for filename in filenames:
            image_path=filepath+filename
            print('正在扩充图片：%s' %filename)
            try:
                img=Image.open(image_path)
                if img.mode == "P":
                    img = img.convert('RGB')
                image_reversal(img,savefilepath,save_filename=save_prefix + str(i) + '.jpg')
                i += 1
                image_rotation(img,savefilepath,save_filename=save_prefix+str(i)+'.jpg')
                i += 1
                image_translation(img,savefilepath,save_filename=save_prefix+str(i)+'.jpg')
                i += 1
                image_brightness(img,savefilepath,save_filename=save_prefix+str(i)+'.jpg')
                i += 1
                image_chroma(img,savefilepath,save_filename=save_prefix+str(i)+'.jpg')
                i += 1
                image_contrast(img,savefilepath,save_filename=save_prefix+str(i)+'.jpg')
                i += 1
                image_sharpness(img,savefilepath,save_filename=save_prefix+str(i)+'.jpg')
                i += 1
            except Exception as e:
                print(e)
                pass



if __name__ == '__main__':
    # 设置图片路径
    filepath = 'E:/2019年/图像算法/ticketAndwetchat/datasets/train/ticket/'

    # 设置扩充保存图片路径
    savefilepath ='E:/2019年/图像算法/ticketAndwetchat/datasets/train/new_ticket/'

    # 设置前缀图片名称
    save_prefix='ticket_0_'

    time1 = time.time()
    image_expansion(filepath, savefilepath,save_prefix)
    time2 = time.time()
    print('总共耗时：' + str(time2 - time1) + 's')

选取相同比例即可，这个没关系的，也不要强行添加数据，这是比较正常的现象，采用分层抽样和k折交叉验证试试