我有多篇关于汽车类的文章,文章中多次提到"本田雅阁"关键词,再语料库中没有该词语的情况下分词,会被切分成"本田" / "雅阁",怎么在不使用人工添加情况下,把"本田雅阁"提取出来,存入语料库,为以后的分词提供有效语料库关键词呢?
实用的方法是使用分词库，它结合了人工添加和修正的词汇。单单从语言的角度看，可以用后缀数组的方式得到某个字符的前后字的字频，字频高的，就视作词汇。但是这个本身需要大量的语料和人工的调整。