之前听scrapy爬虫课的时候听到抓取数据一次只给你显示几条 不会一次性给你显示完全

之前听scrapy爬虫课的时候听到抓取数据一次只给你显示几条 不会一次性给你显示完全 那个传输数据的方式叫什么来着

一般列表都不会显示所有的数据,通过分页来实现,分页数据可能通过异步加载,如ajax或者jsonp数据,需要通过浏览器开发工具找到数据接口,后续的数据通过请求接口获取。

也可能是直接生成分页链接,这个可以分析分页的格式,传递对应的页码后获取分页数据