随着job的运行,在相同数据量的情况下,spark的 task 反序列化时间越来越长,在24小时后,发现反序列化时间大于excutor的计算时间,甚至达到3,4倍的结果,请问反序列化到底哪哪些东西?还有如何解决这种现象?
我也遇到了同样的问题,并且job的duration也随时间增加,请帮忙回答,非常感谢