场景:客户提供数据接口为pageno分页+pagesize限定单页数据量的形式,pagesize最大取1000
接口示例:http://...:/services/RES_*/*****/token/getDataJson?pageNo=1&pageSize=1000&search=
假如该接口totalRecords有1000000条的话,我就要将pageno从1抽到1000页。
kettle来抽的话,好像只能做一个循环翻页的逻辑来抽,请问有没有什么好的编写思路呢,kettle搞循环似乎很容易OOM。
只要返回最大页码就可以,前端循环肯定是要的