自然语言处理,nlp问题,为什么把长度填充到空白的里面?

请问下,nlp语言处理,这两行怎么操作的?为什么把长度值填充到空白的里面?

img

每个单词都有id
你把unk 和 blank当成功能性单词呗
你打个断点看
len(word)会一直增加,
两个len的值是不一样的,
不是所有的单词在训练的时候都包括了,所以需要unk这个向量来代表未知单词
句子长度不一样,所以需要blank来填充至一样长度