我爱占星网 我爱占星网
首页
编程
java
php
前端
首页 编程 java php 前端

spark sql使用distribute by生成的文件数和预期不符

spark版本2.3。distribute by cast(rand()*400 as int)应该生成400个文件。当前只有255个文件,多次执行结果一样,想知道是什么原因(partition的数量也是400,executors数100,executor core数4)

传不同 seed 试试,rand(seed)

近期文章

  • 这个答案竟然是D,D有什么问题,错的不应该是A吗,A多了个*呀
  • VC :组合框CMFCToolBarComboBoxButton的问题
  • JAVA编写一个小学生四则运算练习软件
  • 刚学,求这个怎么弄?
  • 求解vue.js数据绑定问题
  • python无法倒入pygal,报错ImportError: No module named pygal怎么解决
  • 各位帮我挑一下错哈,难到我了
  • RH134-8.2 用rht-vmctl start all启动不了
  • C语言PTA1002部分正确,那里有疏漏呢?
  • 网络体系结构的实验报告
  • 就我兄弟们。单链表,
  • html5中muiplayer播放器的pc插件视频清晰度的切换具体方法代码如何实现?
  • logn和n^2/3谁大求解
  • 我用的MacBook Air安装学校官网上的正版windows10系统,但是无法激活,怎么办?
  • 写了一个注册页面打算把注册信息保存到数据库结果提示500错误
  • 汽车票售票接口怎么弄
  • Java,163邮箱发送失败问题;com.sun.mail.smtp.SMTPSendFailedException: 554 DT:SPM 163 smt
  • 这个是怎么回事 下面的英文说什么断点啥的
  • 金算盘如何批量导入Excel固定资产数据
  • 在innerhtml 里面如何 实现点击事件

Copyright ©2022 我爱占星 All Rights Reserved.

浙ICP备2022030071号-1

部分图文来自网络,如有侵犯您的版权,请告诉我们删除

友情链接:代码精华