我的代码:
爬取返回的内容:
jQuery([{"defaultParams":{"companyCode":"","startUseDate":"2020 - 09 - 03","queryStatus":1,"orderto":"desc","xxfcbj":null,"announcementYn":"1","keyword":"","endUseDate":"2021 - 09 - 03"},"pageList":{"content":[],"firstPage":false,"lastPage":true,"number":12,"numberOfElements":0,"size":20,"sort":null,"totalElements":0,"totalPages":0}}])
我想要爬取的内容:
这种问题有几种可能:
1.原页面上有js,浏览器浏览的时候会自动执行js继续去后台取数据(通常是为了异步加载数据,提高响应速度),而你自己写的get方法只获取网页代码,并不能执行它
2.原页面代码有加密格式,而你并没有指定格式,因此部分数据无法获取
我感觉你这不是缩水,是被反扒了,我爬一些网站的时候herders里面没有一些参数refer,cookie之类的都会导致这样的报错,或者你爬取的网址你搞错了,或者网址没js自动加密了,访问了一个无效网址,有用的话点一下采纳