现在需要实现的功能如下：
1.导入十万数据在10s内完成（数据需要写入数据库mysql）
2.要过滤导入过程中重复的数据（这个重复的数据在数据库中不唯一）、错误的数据
发布这个提问是想知道怎么解决这个问题，请大牛指教
（现在做的情况是：数据导入成功没问题，但是查找重复的数据需要频繁请求数据库，降低了速度，致使导入数据库的数据非常慢，Nginx在1分钟之内未成功导入，会直接导入失败）
换个思路，提前把重复的数据处理，然后再导入，不知道说的对不对，
不行，你提前导入进去的数据是导入数据库的，没导入数据库之前怎么把重复的数据处理了，还有就是重复的数据要用弹框提示出