我爱占星网 我爱占星网
首页
编程
java
php
前端
首页 编程 java php 前端

spark Task Deserialization Time时间越来越长

随着job的运行,在相同数据量的情况下,spark的 task 反序列化时间越来越长,
在24小时后,发现反序列化时间大于excutor的计算时间,甚至达到3,4倍的结果,
请问反序列化到底哪哪些东西?还有如何解决这种现象?

我也遇到了同样的问题,并且job的duration也随时间增加,请帮忙回答,非常感谢

近期文章

  • 百度地图离线导航如何实现???
  • Linux关机时无法发送网络请求?linux 关机时还能发送网络请求吗?
  • shell里调用sftp加了参数-o就报错
  • 有关springmvc方面的问题
  • 解析报文时怎样让请求报文与相应报文头相同!
  • Launcher 中 Home按钮不能运行
  • dhtmlxtree节点编辑求指点
  • c#如何实现音频文件转MIDI
  • C++ MFC的字节转换操作库函数定义?除了string.h还有什么可以利用的
  • springMVC配置报错,求大神帮忙
  • Android viewpage+fragment 中dialog开了不会自动关掉
  • android怎么画圆形自定义控件
  • 安卓studio项目打包总出错
  • jq包裹的对象,和原生对象,命名规则
  • 神经网络算法的输入层节点有限制吗?
  • Linux:关于标准输出的疑问?
  • Windows8.1下安装Ubuntu14.04分区问题
  • sql server 用这段语句,3个人一起点就容易死锁,有解决过的没有,如果解决的话,加分给你
  • 请问怎样创建armeabi文件夹,,,。。
  • shell中的语句问题 求各位解答

Copyright ©2022 我爱占星 All Rights Reserved.

浙ICP备2022030071号-1

部分图文来自网络,如有侵犯您的版权,请告诉我们删除

友情链接:代码精华