刚入门爬虫,想要爬取页面一些数据时,发现一些网页源码和控制台元素的内容不同(源码缺失一部分主要元素),控制台元素的内容都是齐全的,想要通过控制台元素数据时,发现源码缺失我需要的,请问怎么解决的,我用的是java webmagic 来获取的,无从下手
爬虫的原理基本都是一致的吧,既然会在页面上显示数据,就肯定需要发出请求,找到对应的请求,直接从请求中获取数据就行用的方法就看个人了