第三方接口涉及分页,如何获取第三方所有的数据

post请求调用第三方接口,请求体中设置两个参数,分别是offset(代表从第几条数据开始查),limit(代表每页显示多少条数据,最大限制条数为 500条),total总条数不是固定的,每次查都不一样,该如何查询出所有的数据?

思路:写个循环,刚开始offset为1,limit为500,查询数据,如果条数小于500,则为所有数据,
如果大于等于500,继续查询,然后将offset设为501,limit仍为500不变,若查询的条数小于500,
将第一次查询和第二次查询的结果集求并集,大于等于500,继续查询,以此类推

offset=1 limit=10,那么total就是固定的了

直接limit给最大值不完了