关于hive on spark的一些问题

今天我在做毕业设计的时候,遇到了一些问题解决不了。这是一个hive on spark项目,数据处理引擎是spark,数据处理方式就是把hive连接到datagrip上进行处理,在写数据装载的代码时还可以正常运行,编写了一个脚本,将ods层数据处理,放到dwd层,出现了问题,报错原因是unknown reason,并且也报错了return code 3的错误,在yarn日志里找原因,发现也是unknown reason,我换了一个虚拟机测试发现脚本没有问题,所以请各位能不能帮帮我看看是不是虚拟机设置问题,或者是其他什么问题

img

img

img

环境中缺少jar包吧,noclassdefine得嘛。

hdfs上对应spark目录中缺少该包