怎样用spark对ods层指定分区表的数据进行清洗

对缺失字段进行填充，去重
用Scala语言编写
在idea中编写，或在shell命令下编写