pyspark环境报错,TypeError: 'bytes' object cannot be interpreted as an integer

问题遇到的现象和发生背景

python安装了pyspark包,运行pyspark会报错

Traceback (most recent call last):
  File "D:\spark\python\pyspark\shell.py", line 31, in 
    from pyspark import SparkConf
  File "D:\spark\python\pyspark\__init__.py", line 51, in 
    from pyspark.context import SparkContext
  File "D:\spark\python\pyspark\context.py", line 31, in 
    from pyspark import accumulators
  File "D:\spark\python\pyspark\accumulators.py", line 97, in 
    from pyspark.serializers import read_int, PickleSerializer
  File "D:\spark\python\pyspark\serializers.py", line 72, in 
    from pyspark import cloudpickle
  File "D:\spark\python\pyspark\cloudpickle.py", line 145, in 
    _cell_set_template_code = _make_cell_set_template_code()
  File "D:\spark\python\pyspark\cloudpickle.py", line 126, in _make_cell_set_template_code
    return types.CodeType(
TypeError: 'bytes' object cannot be interpreted as an integer
操作环境、软件版本等信息

win11
python3.10.9
pyspark3.3.2

尝试过的解决方法

尝试过换到pyspark2.4.8,以及采用pyspark-shell,但都会报这个错误。

我想要达到的结果

pyspark正常使用

该回答引用ChatGPT

根据错误信息,似乎是 Python 3.10 的一个已知问题,目前还没有更新版本解决这个问题。解决此问题的一种方法是使用较旧的 Python 版本(如 Python 3.9 或更早版本)或使用 Python 3.10 的 beta 版本。

另外,也可以尝试使用 conda 或者虚拟环境来安装 Python 3.9,并在该环境下使用 pyspark 包进行开发,这样可以避免与现有 Python 环境的冲突。

你也可以尝试以下步骤:

确保你的环境变量设置正确,Spark 和 Python 版本匹配。

在 Python 3.9 或更早版本下安装 PySpark。

确保已安装必需的依赖项。

如果这些步骤无法解决问题,请尝试寻求其他支持或等待更新。