spark 堆外内存作用,何时会用到?

spark 各个内存用处 ?

OOM 如何判定是哪部分内存溢出?

  1. 堆外内存主要用于存储 Spark 任务的中间结果和缓存,这些结果通常比内存中的数据更大,因此需要使用堆外内存来存储。
  2. 对于大型数据集和广播变量,Spark 可能会使用堆外内存来存储它们,这可以提高性能并减少内存使用;当 Spark 运行时的内存不足时,会使用堆外内存来存储任务的中间结果和缓存。