初学,在爬某网站评论内容,遇到了none,自认为定位方法都是正确的,就是爬不出来
你comment 获取的是"数据加载中..."就说明了你这个网页中的内容是通过js代码读取外部json数据来动态更新的。
requests只能获取网页的静态源代码(静态源代码中就只有"数据加载中..."),动态更新的内容取不到。
对于动态更新的内容要用selenium 来爬取。
或者是通过F12控制台分析页面数据加载的链接,找到真正json数据的地址进行爬取。
在页面上点击右键,右键菜单中选 "查看网页源代码"。
如有帮助,请点击我的回答下方的【采纳该答案】按钮帮忙采纳下,谢谢!
先将网页源码下到本地,看一下有无评论内容,如没有评论的节点内容,那么该部分就是动态加载的,需要用selenium或requests的get/post方法去获取。
说的好,刚学,自认为定位正确,就是不贴代码出来?
建议将你的代码以及对应网页的url发布出来,方便我们给你看,此外单单在Elements里面看是会出错的,因Elements里面的都是渲染好了的,你要判断是否非动态加载的