Hadoop的基于进程的计算和spark基于线程方式的优缺点
Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加载到每个map task中，造成重复加载和浪费内存。而基于线程的方式计算是为了数据共享和提高执行效率，Spark采用了线程的最小的执行单位，但缺点是线程之间会有资源竞争。
https://blog.csdn.net/feizuiku0116/article/details/122795787
该回答引用GPTᴼᴾᴱᴺᴬᴵ
Hadoop和Spark都是大数据处理平台，但它们有不同的计算模型和架构。
-
Hadoop采用的是基于进程的计算模型，它将整个任务分解成若干个子任务，每个子任务分配到不同的节点上运行，各个节点之间通过文件系统进行通信和数据共享。这种计算模型的优点是能够充分利用分布式环境的硬件资源，处理大规模数据的能力较强。缺点是在处理迭代计算等需要频繁通信的场景下效率较低，因为进程间通信的代价比较高。
-
Spark采用的是基于线程的计算模型，它将整个任务分解成若干个阶段，每个阶段包含若干个任务，每个任务分配到不同的线程上运行，各个线程之间通过内存共享数据和通信。这种计算模型的优点是在处理迭代计算等需要频繁通信的场景下效率较高，因为线程间通信的代价比进程间通信低。缺点是在处理大规模数据的能力较弱，因为线程数受限于节点的硬件资源。
-
综上所述，Hadoop和Spark各有优缺点，选择哪种计算模型取决于具体的场景和需求。如果需要处理大规模数据且数据处理过程中通信开销相对较小，那么Hadoop更为适合；如果需要迭代计算或通信开销相对较大，那么Spark更为适合。