我是一名爬虫初学者,我试图爬取某网站的数据,但是发现页面源代码与开发者工具中的代码不一致,例如页面源代码中含有开发者工具代码中所没有的div标签,以至于所选取的定位路径无效。并且页面源代码中所展示的也不是树状结构,很难自己根据页面源代码定位路径。请问对于这种场景有什么解决方案吗?
有些是动态加载出来的,一切以你爬虫爬取到的页面结构为准,你可以将爬取到的html保存为html文件,然后在浏览器中打开它,此时,你右键复制xpath就行了,这样你就不用手写了,如果要手写的话,你就依据你爬取的html结构,用相对路径大概写一写xpath也简单呢。
有帮助的话采纳一下哦!