WeNet有比较独特的地方吗?比如流识别?有比较懂得吗,帮忙解答一下,谢谢!
WeNet里我们制作、使用了比U2更优化的U2++算法解决流式的问题。具体思想是做两次识别,第一遍利用CTC的结果,第二遍利用Attention Decoder做rescoring,整体实现模型架构上的流式。Conformer、Transformer模块中的Self-Attention本身是不能做流式识别的,在WeNet中通过dynamic chunk training的方式实现了Conformer和Transformer的流式。