Spark执行job脚本时,退出时总是报错 ERROR Configuration,怎么解决?

Spark执行job脚本时(scala项目),不管是Shell还是Submit的方式,退出时总是报错 ERROR Configuration:error parsing conf mapred-default.xml,然后跟几段错误日志,都是java.io.FileNotFoundException:/xxx.jars(jars包的路径)。

目前了解的信息是,可能是启动脚本依赖包有冲突,但是也不知道怎么定位和去掉哪个包。。程序能正常执行,但是放在调度平台中会影响下一个job任务的启动。

请问需要修改启动sh脚本的什么信息,可以隔离这种现象。

你好,我是有问必答小助手,非常抱歉,本次您提出的有问必答问题,技术专家团超时未为您做出解答


本次提问扣除的有问必答次数,将会以问答VIP体验卡(1次有问必答机会、商城购买实体图书享受95折优惠)的形式为您补发到账户。


因为有问必答VIP体验卡有效期仅有1天,您在需要使用的时候【私信】联系我,我会为您补发。