我很喜欢其中一个解释:“decoder会attend 到已经产生出来的 sequence,因为还没有产生出来的无法做attention。” 可是有人说:“如果不mask,那attention后面的词的时候前面已经预测的词会跟着变化。”我觉得他们理解错了。
第一种说的就很明白,第二种不理解。