我用BeautifulSoup爬取国外一网站的html里面的点赞的数据,python爬取的html跟原网站(https://www.fiverr.com/categories/video-animation/whiteboard-explainer-videos?source=category_tree&ref=animation_type%3A2d_color&page=4)的element不一致,原网站的点赞数据如图一,但是BeautifulSoup获取的html里面没有,如图2和3,请问有没有大神指导下怎么弄?
BeautifulSoup获取的是浏览器右键 -查看源文件 打开之后的代码 不是element的代码
你的问题有2个方案:
1.使用selenium phantomjs等可以解析JS的包 代替BeautifulSoup
2.你需要的点赞数据可能是JS加载的 找到那条请求 单独请求那条请求得到点赞数据
第一个方案相对简单点,第二个需要自己分析请求
网页是异步加载的吧
大神,又是你,有办法搞定吗?
一样的,先
分析下数据是不是源代码里面的,还是js请求的数据
你可以用from selenium import webdriver 模块打开真实的浏览器。操作浏览器中的dom获取数据
本人已自行解决,谢谢。