场景:
excel批量导入，有字段a，需要判断在数据库中是否存在。数据库中的数据量有上百万。
如果单条记录校验失败是录入还是全部回滚？如果是全部回滚，你就要考虑你应用的原型设计了。
需要判断的字段a的值，是比较固定的值吗？
假设导入10w条，数据库中有数据100w，如何高效做a字段的校验呢？100w数据缓存到map中内存又吃不消
这种大数据量的去重，可以考虑bitmap
可以使用poi工具包对excel批量插入临时表，在用临时表做左关联主表，就可以判断是否重复，以及做相应的比对了。性能方面10W数据批量插入临时表一个字段20长度是1.7秒左右（字段越多，效率越低，所以尽量只插入对比字段，等有判断结果，插入主表在多字段插入，最后还需要删除临时表），用上多线程可以节约3分之二时间即0.6秒。这是我最近做一个批量激活操作所采用的方案。如有帮助，请采纳！细节可以在问我