单并发,用的WeNetspeech离线大模型以及libtorch1.10,rescore和search都在500ms+,为什么这么慢呢?一般TLG有多大呀?语言模型大小会很影响速度的吧?
Search很快,rescoring一般100~200ms,WeNetSpeech模型很大,这个时间和机器性能也有关系,语言模型大小不太影响速度。