携程酒店数据爬取(包括酒店id),新的酒店信息反爬过后,都没有什么好的办法,携程页面是用的http://m.ctrip.com/restapi/soa2/21881/json/HotelSearch?testab=704cd2e852dc1e8cfbb9bc59f5a6272f7545d58f16ff59d1d2c95c5cf50dcb68 的ajax请求获取的,某些参数需要动态变化,但是不知道加密规则是怎么样的,返回不了酒店数据,如果能直接给代码最好,或者告诉我怎么构造参数规则,获得酒店数据
有没有具体的list card页面。
关于爬取数据
1 是 注意 cookie, 每次爬取后需要把 响应头里的 cookie设置信息保存下来,下次请求的时候 需要带上。
2 就是请求头,userAgent 、referer 等 的设置, 和模拟的和真实用户一样
3 爬取的不要过于频繁,如果需要大量抓取 就 买个 ip代理, 过一会 换一个ip
我平时爬取 也就用 最简单的 jsoup 就够了
小程序抓取,但是需要登录,估计如果频率高了还会有其他反爬
咋抓包构造请求,你肯定会把。
如果解决,还望采纳
可以使用UIBot爬取
RPA机器人,爬取速度也不错
用android手机,模拟手动操作,通过代理方式把数据倒到代理服务器上