请问一下有PETS2007数据集吗?就是内含游荡标签的数据集,我在网络上找遍了都没能和找到……
模型结构
说白了就是U-NET,红色箭头处的实现方式还有待研究。。相加?哪两个图相加呢?输入是Mutil-slice,中间的那张吗?
残差连接
Mutil-slice输入
不同slice的重建效果图,着重看的是箭头处的重建细节。
Loss function
关键环节。
L1 loss:
Ll1=1NM∑i=1N∑j=1M∣xi,j−yi,j∣L^{l_1} = \frac{1}{NM}\sum_{i=1}^N\sum_{j=1}^M|x_{i,j} - y_{i,j}|Ll1=NM1i=1∑Nj=1∑M∣xi,j−yi,j∣
NNN,MMM是相应的行和列。其中,xi,j,yi,jx_{i,j},y_{i,j}xi,j,yi,j分别是两幅图像在点(i,j)(i,j)(i,j)处的像素强度。
两幅图像求 loss,两幅图像 应该都是灰度图,即单通道,应该是 归一化之后的。。如果未归一化,则反向传播会十分的困难。
图像归一化输入,对于输出,也相当于归一化之后的图像,还要从归一化之后的图像恢复到原图的像素范围吗?
其次,还有SSIM(structural similarity index)和MS-SSIM(multi-scale the structural similarity index),相应的公式分别为:
LSSIM=1NM∑i=1N∑j=1M(1−SSIM(i,j))L^{SSIM} = \frac{1}{NM}\sum_{i=1}^N\sum_{j=1}^M(1-SSIM(i,j))LSSIM=NM1∑i=1N∑j=1M(1−SSIM(i,j))
LMS−SSIM=1NM∑i=1N∑j=1M(1−MS−SSIM(i,j))L^{MS-SSIM} = \frac{1}{NM}\sum_{i=1}^N\sum_{j=1}^M(1-MS-SSIM(i,j))LMS−SSIM=NM1∑i=1N∑j=1M(1−MS−SSIM(i,j))
其中:
SSIM(i,j)=2μxμy+C1μx2+μy2+C1∗2σxy+C2σx2+σy2+C2=l(i,j)∗cs(i,j)SSIM(i,j) = \frac{2\mu_x\mu_y + C_1}{\mu_x^2 + \mu_y^2 + C_1} * \frac{2\sigma_{xy} + C_2}{\sigma_x^2 + \sigma_y^2 + C_2} = l(i,j)*cs(i,j)SSIM(i,j)=μx2+μy2+C12μxμy+C1∗σx2+σy2+C22σxy+C2=l(i,j)∗cs(i,j)
MS-SSIM就先不介绍了,可以自行百度。
说了这么多,其实还是选择了L1。理由如下:在这三种方案中,与SSIM和MS-SSIM相比,L1损耗不仅可以避免L2损耗带来的斑片伪影,而且几乎不增加反向传播的开销。因此,在接下来的实验中,选取L1损失作为训练过程的损失函数。
评价的时候使用了LOOCV,即每次训练,拿出8个作为训练集,拿出1个作为验证集。
没有test??
细节部分的结果,a和f。
不同方法,在不同的评价指标上的结果。