在进行网页内容爬取时,为什么在网页检查元素中能看到的标签内容(比如hello,world),用requests获取html后,解析匹配不出相关的标签?把该html改为txt格式后,也找不到相关的标签?
这样说明爬取的是动态网站,网站的内容是通过请求其他接口获取数据后动态渲染到html页面中。所以遇到这种动态网站,一般是分析网站请求或者使用 selenium 模块爬取