登陆 https://www.qimai.cn/ 这个网站,发现不管是登陆还是查询数据的时候,http请求中都带有一个analysis参数:
但是这个参数好像是一段js代码运行后的结果,每次不固定,而且一段时间就失效;每次也是有一些规律的。
请教大神们,这个参数是怎么来的?
用FD工具 百度下载即可 HTTPS都可以获取到
使用http/https抓包工具分析完整的http session(即从你访问主页开始抓取,一直到出现你需要的这个url),分析前面的http的返回信息,里面应该能找到这个字串,然后你可以查看返回的网页源码分析是哪个js生成的。
八爪鱼采集器是任何一个需要从网页获取信息的人都必备的采集工具,它彻底改变了我对爬虫和采集器的认识,让网页数据采集变得前所未有的简单,如果你正在寻找一款好用的采集软件,八爪鱼绝对是最好的选择。