爬取网站上数据,爬下内容不全

我爬取下厨房的作品url(比如这个界面:http://www.xiachufang.com/cook/10585157/created/)
*图片说明

其中::after的内容需要我鼠标滚动到下面才显示。导致我python爬下来的url数量很少,只有最开始的15组。
图片说明

我用的etree.html和xpath。
大家有什么方法能让我爬取到::after里的数据。

有个page参数的。http://www.xiachufang.com/cook/10585157/created/?page=4

那你能不能爬去上一层ul标签中的所有内容?看看是不是包含所有的li标签你要的内容,然后再过滤。

查看接口 是否有分页page。 有分页就循环调用接口(page+1),获取接口返回数据