https://cn.investing.com/news/latest-news, 不知道这个网站用了什么反爬? 不考虑用selenium等手段
所有的请求头数据,cookie,代理ip都用了,还是没数据,一直提示Enable JavaScript and cookies to continue,
这个网站是ajax异步加载的数据,不是初始的加载
动态网站,只能使用selenium实现,使用selenium也可以使用无头模式的浏览器,从而浏览器不显示,跟你是要普通的请求看不出差别。
这个我用.NET抓过网页行情数据,用的HtmlAgilityPack