可以商用的大语言模型有哪些,这个可能可以,不过有没有显存要求小的
THUDM/ChatGLM-6B: ChatGLM-6B:开源双语对话语言模型 | An Open Bilingual Dialogue Language Model
https://github.com/THUDM/ChatGLM-6B
对话的数据对语义表示很重要,因为对于相同回答的提问一般都是具有类似语义的,ERNIE修改了BERT的输入形式,使之能够使用多轮对话的形式,采用的是三个句子的组合[CLS]S1[SEP]S2[SEP]S3[SEP] 的格式。这种组合可以表示多轮对话,例如QRQ,QRR,QQR。Q:提问,R:回答。为了表示dialog的属性,句子添加了dialog embedding组合,这个和segment embedding很类似。 - DLM还增加了任务来判断这个多轮对话是真的还是假的。