kettle每次运行如何清除特定文件夹下的缓存

环境:linux
场景:从API接口中获取数据并输出到HDFS
问题:若遇到有缓存的情况下会报错,但是如果在spoon.sh文件下写上清楚缓存的命令(删除全部缓存),则就会有并发问题,有一个任务再跑,另一个任务启动了会清除所有缓存导致已经再跑的任务全部中断