https://cn.investing.com/news/latest-news, 有人知道这个网站用了什么反爬?

https://cn.investing.com/news/latest-news, 不知道这个网站用了什么反爬? 不考虑用selenium等手段

img

所有的请求头数据,cookie,代理ip都用了,还是没数据,一直提示Enable JavaScript and cookies to continue,

img

这个网站是ajax异步加载的数据,不是初始的加载

img

动态网站,只能使用selenium实现,使用selenium也可以使用无头模式的浏览器,从而浏览器不显示,跟你是要普通的请求看不出差别。

这个我用.NET抓过网页行情数据,用的HtmlAgilityPack