kettle如何进行循环抽取某接口的数据呢?

场景:客户提供数据接口为pageno分页+pagesize限定单页数据量的形式,pagesize最大取1000

接口示例:http://...:/services/RES_*/*****/token/getDataJson?pageNo=1&pageSize=1000&search=

假如该接口totalRecords有1000000条的话,我就要将pageno从1抽到1000页。

kettle来抽的话,好像只能做一个循环翻页的逻辑来抽,请问有没有什么好的编写思路呢,kettle搞循环似乎很容易OOM。

只要返回最大页码就可以,前端循环肯定是要的