我爱占星网 我爱占星网
首页
编程
java
php
前端
首页 编程 java php 前端

运行spark自带的实例时

img

运行spark自带的实例时,出现这样的问题,是什么原因呢?版本兼容问题吗?怎么解决呀

Spark从1.4版本以后,Spark编译时都没有将hadoop的classpath编译进去,所以必须在spark-env.sh中指定hadoop中的所有jar包。https://spark.apache.org/docs/latest/hadoop-provided.html
你试下按上面官网所示在spark-env.sh 中设置 export export SPARK_DIST_CLASSPATH=$(${HADOOP_HOME}/bin/hadoop classpath)
重试下是否OK,若还报错就将报的这些jar下载

近期文章

  • 这个是什么情况?求解
  • POST请求上传文件
  • 如何在同一路径的laravel中的一个函数中返回多个视图
  • 动态规划五倍经验C++
  • 科丁乐K13287 科丁工厂4
  • Ubuntu安装python总是32位,怎么安装64位python
  • 请教云码识别验证码代码!
  • CM211-1S-ZG刷机到7%就失败,
  • 面试相关问题的分享有劳解答
  • VB调用ANSYS执行文件保存温度云图
  • 学习spring整合mybatis时sqlSessionFactoryBean不能创建SQL sessionFactory对象
  • java 使用函数式接口的疑问
  • 关于python支付的问题
  • 如何在laravel中从内部api请求获取json响应?
  • idea运行代码显示找不到模块,如何解决?(语言-java)
  • 如何迅速的登录CAD
  • vue-video-player有没有取消全屏的事件,如何解决?
  • asp用ado怎么指定编码
  • particle color作用是什么?
  • debian设置ssh详细操作

Copyright ©2022 我爱占星 All Rights Reserved.

浙ICP备2022030071号-1

部分图文来自网络,如有侵犯您的版权,请告诉我们删除

友情链接:代码精华