Python训练Transformer,搭载Deepspeed后训练出的模型异常,权重维度不匹配

img

img
图为Deepspeed配置文件。
下面是我的代码链接:https://colab.research.google.com/drive/1KfOIIS6BYPMxtEM1YMudblB2JSQKUMy_?usp=sharing

你好,我是有问必答小助手,非常抱歉,本次您提出的有问必答问题,技术专家团超时未为您做出解答


本次提问扣除的有问必答次数,将会以问答VIP体验卡(1次有问必答机会、商城购买实体图书享受95折优惠)的形式为您补发到账户。


因为有问必答VIP体验卡有效期仅有1天,您在需要使用的时候【私信】联系我,我会为您补发。