现有一个业务,需要对文件进行数据检查,一份文件数据大概有3-4w条(逐条检查),都会发往检查服务上检查,如果数据没问题才入库此份文件。 如何可以减小这个服务的压力,如果mq的话数据分发到不同服务器上,某条有问题其余服务器又如何知道该份文件的数据不需入库,感谢
加节点分批次处理数据是对的,对于多节点,不知道是否需要入库,就要加点记录,针对某个文件,分成了几批次,每一批次检查完都记录上某个文件-某批次是否通过,最后再获取这些检查结果来对比,只要全部通过就入库,只要有一个没通过就不入库,最后把检查记录删掉