语义分割数据集格式问题

我在用unet训练自己的语义分割数据，训练结果很不对劲

然后我看是数据集label的问题，我的数据集label是这样的

然后图片是RGB，shape是（640， 360， 3），图片背景的像素点值为0，目标的像素点值为255

我想问一下，数据集标签是有什么问题？

Loss从一开始训练就是0，应该是计算Loss的代码出的问题？