我是某高校软件工程研一的学生,目前老师手头有一个关于spark的商业项目,然后要我了解企业搭建spark集群的一个硬件条件是什么比如磁盘要求?内存要求?还有计算能力方面有没有什么要注意的?我也是初学者,是小白,在查资料发现也没有这方面信息,只好跑来问问各位大神有没有做过这方面开发的?最好做过企业方面开发搭建的,谢谢了
项目是一个spark机器学习平台,对内要求是实现训练数据达到TB级别的模型训练,过程中参数可能会达到10的9次方到12次方。。
大数据分布式系统设计的初衷就是用普通的商用机集群去解决大数据强计算的任务而不是追求单台机器的性能超级优越