# from pyspark import SparkConf, SparkContext
import pyspark
# 类SparkContext的类对象 是 执行环境入口对象
# setMaster spark运行模式,local是本机
# setAppName 为spark程序起名
conf1 = pyspark.SparkConf().setMaster("local[*]").setAppName("local_spark")
# 基于SparkConf类对象创建SparkContext类对象
sc = pyspark.SparkContext(conf=conf1)
# 打印PySpark运行版本
print(sc.version)
# 停止SparkContext对象的运行(停止pyspark程序)
sc.stop()
下面是报错
E:\Python\python3.10.4\python.exe E:/Python/pycode/5pyspark/ONE.py
系统找不到指定的路径。
Traceback (most recent call last):
File "E:\Python\pycode\5pyspark\ONE.py", line 11, in
sc = pyspark.SparkContext(conf=conf1)
File "E:\Python\python3.10.4\lib\site-packages\pyspark\context.py", line 195, in __init__
SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)
File "E:\Python\python3.10.4\lib\site-packages\pyspark\context.py", line 417, in _ensure_initialized
SparkContext._gateway = gateway or launch_gateway(conf)
File "E:\Python\python3.10.4\lib\site-packages\pyspark\java_gateway.py", line 103, in launch_gateway
time.sleep(0.1)
KeyboardInterrupt
Process finished with exit code -1073741510 (0xC000013A: interrupted by Ctrl+C)
就是提示里说的:系统找不到指定的路径。
你检查下是那个路径值不对
该回答引用ChatGPT
根据报错信息看起来是运行环境出现了问题,可能是启动Spark时发生了中断或者异常。建议检查以下几点:
1、是否已经安装了Java并配置好了Java环境变量。
2、是否已经正确安装了Spark,并且Spark的版本是否和pyspark的版本兼容。
3、是否有其他程序或者进程正在占用端口导致Spark无法正常启动。
4、是否在IDE或者命令行中正确运行该脚本,以确保代码没有语法错误或者路径错误。
你可以逐一检查上述问题,或者尝试在其他环境中运行该脚本,看看是否能够正常启动Spark。
cmd下运行OK吗?
环境变量设置好了吗 PYTHONPATH和SPARK_HOME