hello
大家好，我这里接到了一个需求
是把俩个数据库的表，进行合并，之后去除重复的行。
因为对数据处理这方面了解的少，
请大家给点建议~集思广益
python 的 pandas库 可以适用于此场景，有需要的大家可以了解一下，
也很感谢几位老师对我的帮助 感谢
数据量大建议使用orcale比较好，去重可以使用distinct关键词进行去重，去重后在进行表连接，将查询的数据导入进的表中去
insert into ....select......
重复的定义是什么？
如果两个库能直连的话，sql处理比业务处理更舒服；如果是通过接口获取数据的话，大批量数据快速去重的话，bitmap就很香了
都读到文件里了，直接借助linux命令去重就好了
https://www.cnblogs.com/yangxudong/p/3848453.html