本人小白,刚刚入门爬虫,用seleniem+beautifulsoup爬取苏宁手机数据,现在有一个问题,用seleniem模拟打开网页得到的源代码
中的手机数与实际在网站中看到的不符。苏宁手机第一页一共120个手机,但是源代码只到前30个,求教大佬
你打开的第一页,其实在你往下划的时候网页加载了XHR,所以你使用seleniem也需要模拟下滑
driver.execute_script("window.scrollBy(0,500)") ##下滑500个像素
在加载后,在进行爬取
另 https://blog.csdn.net/weixin_39416561/article/details/82018864 个人使用requests 爬取苏宁店铺商品信息的代码,希望能帮到你