python使用pyspark出现问题


# from pyspark import SparkConf, SparkContext
import pyspark

# 类SparkContext的类对象 是 执行环境入口对象

# setMaster spark运行模式,local是本机
# setAppName 为spark程序起名
conf1 = pyspark.SparkConf().setMaster("local[*]").setAppName("local_spark")

# 基于SparkConf类对象创建SparkContext类对象
sc = pyspark.SparkContext(conf=conf1)

# 打印PySpark运行版本
print(sc.version)

# 停止SparkContext对象的运行(停止pyspark程序)
sc.stop()

下面是报错
E:\Python\python3.10.4\python.exe E:/Python/pycode/5pyspark/ONE.py
系统找不到指定的路径。
Traceback (most recent call last):
  File "E:\Python\pycode\5pyspark\ONE.py", line 11, in 
    sc = pyspark.SparkContext(conf=conf1)
  File "E:\Python\python3.10.4\lib\site-packages\pyspark\context.py", line 195, in __init__
    SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)
  File "E:\Python\python3.10.4\lib\site-packages\pyspark\context.py", line 417, in _ensure_initialized
    SparkContext._gateway = gateway or launch_gateway(conf)
  File "E:\Python\python3.10.4\lib\site-packages\pyspark\java_gateway.py", line 103, in launch_gateway
    time.sleep(0.1)
KeyboardInterrupt

Process finished with exit code -1073741510 (0xC000013A: interrupted by Ctrl+C)

就是提示里说的:系统找不到指定的路径。
你检查下是那个路径值不对

该回答引用ChatGPT

根据报错信息看起来是运行环境出现了问题,可能是启动Spark时发生了中断或者异常。建议检查以下几点:

1、是否已经安装了Java并配置好了Java环境变量。

2、是否已经正确安装了Spark,并且Spark的版本是否和pyspark的版本兼容。

3、是否有其他程序或者进程正在占用端口导致Spark无法正常启动。

4、是否在IDE或者命令行中正确运行该脚本,以确保代码没有语法错误或者路径错误。

你可以逐一检查上述问题,或者尝试在其他环境中运行该脚本,看看是否能够正常启动Spark。

cmd下运行OK吗?
环境变量设置好了吗 PYTHONPATH和SPARK_HOME

  • 关于该问题,我找了一篇非常好的博客,你可以看看是否有帮助,链接:pyspark出现错误