python爬虫BeautifulSoup获取的html跟原网站element不一致

我用BeautifulSoup爬取国外一网站的html里面的点赞的数据,python爬取的html跟原网站(https://www.fiverr.com/categories/video-animation/whiteboard-explainer-videos?source=category_tree&ref=animation_type%3A2d_color&page=4)的element不一致,原网站的点赞数据如图一,但是BeautifulSoup获取的html里面没有,如图2和3,请问有没有大神指导下怎么弄?

BeautifulSoup获取的是浏览器右键 -查看源文件 打开之后的代码 不是element的代码

你的问题有2个方案:

1.使用selenium phantomjs等可以解析JS的包 代替BeautifulSoup

2.你需要的点赞数据可能是JS加载的 找到那条请求 单独请求那条请求得到点赞数据


第一个方案相对简单点,第二个需要自己分析请求

网页是异步加载的吧

大神,又是你,有办法搞定吗?

一样的,先

分析下数据是不是源代码里面的,还是js请求的数据

你可以用from selenium import webdriver 模块打开真实的浏览器。操作浏览器中的dom获取数据

本人已自行解决,谢谢。