在完形填空、命名实体识别、相似度、文本分类等方面,ernie效果比bert好,有什么方面不如bert的吗?
另外,跟着github复现不出来,求指教!!谢谢啦!!
相比于BERT,ERNIE的主要优势在于预训练语料库的选择和多任务学习。ERNIE使用了更大、更丰富的预训练语料库,包括百度百科、百度知道和百度贴吧等,同时还使用了更多的中文语料库和英文语料库。此外,ERNIE还使用了多任务学习的方法,同时训练多个下游任务,可以更好地捕捉不同任务之间的关系和共性。
但是,ERNIE相对于BERT也存在一些缺点。首先,ERNIE的模型规模较大,训练和推理的计算资源需求较高。其次,ERNIE的预训练任务较为简单,只包括了语言模型和下一句预测任务,相对于BERT的预训练任务较为单一。
如果您想复现ERNIE模型,可以参考百度开源的ERNIE代码库,其中包括了ERNIE的预训练和下游任务Fine-tuning的代码和模型。如果您遇到了问题,可以在相关论坛或社区中提问,或者参考相关的技术文档和教程。
百度ernie模型目前看来还是不太成熟的技术。