对卷积后数据进行归一化后，效果不好

我在做域对域的转换，基本网络框架用的cyclegan.在对编码后的特征图做卷积操作时，对卷积后的数据不做归一化，生成的动漫脸，脸部很干净；对卷积后的数据做归一化，反而脸部不干净。想问下这是为啥