Masked-Self-Attention 的作用有两种解释,该信谁?

Masked-Self-Attention 的作用有两种解释,到底该信谁?

我很喜欢其中一个解释:“decoder会attend 到已经产生出来的 sequence,因为还没有产生出来的无法做attention。” 可是有人说:“如果不mask,那attention后面的词的时候前面已经预测的词会跟着变化。”我觉得他们理解错了。

你们觉得呢?

第一种说的就很明白,第二种不理解。