基于datax的二次开发,实现数据导入时,对完全相同的数据进行去重,例如一个txt文件中,有;两条一模一样的数据,要对其进行去重之后入库
我的理解是 原始数据重复的话可以用sql去重 目标数据重复一般都是 before 根据同步策略 按照时间呀 或者主键呀先删除再插入