该Hadoop集群有8台服务器,3台是24t,5台是32t,这种情况有问题吗?有没有优化的参数配置?
Hadoop性能优化:Hadoop机架感知实现及配置:分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度,并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。
hadoop有自动负载均衡的机制 应该不会出现问题 但是还是建议采用相同的存储空间配置;
hadoop 集群节点尽可能同一批次使用相同容量的机器,容量不一致会导致数据倾斜,小容量的机器压力会变大。可以使用负载均衡来平衡数据量。