在使用Python爬取一个动态页面的过程中,出现了爬下来的内容相比页面内容严重缩水的问题,经高人指点,发现问题有以下几种可能:
1.原页面上有js,浏览器浏览的时候会自动执行js继续去后台取数据(通常是为了异步加载数据,提高响应速度),而你自己写的get方法只获取网页代码,并不能执行它。
2.原页面代码有加密(编码)格式,而你并没有指定格式,因此部分数据无法获取。
但可惜我本人专业知识储备不足,仍然页面编码、JS这些东西仍然是云里雾里。希望各位能帮我答疑解惑,不胜感激。
这个到最后我也没搞明白。
通过分析异步接口获取数据, 以及js逆向分析加密数据