最近做一个爬虫,使用bs4调用find_all方法总是返回一个空列表这是为什么?
因为这个网页中的内容是通过js读取外部json数据来动态更新的。requests只能获取网页的静态源代码,动态更新的取不到,对于动态更新的要用selenium 的 webdriver 爬取。
或者是通过F12控制台分析页面数据加载的链接,找到真正json数据的地址进行爬取。
你要练习requests抓取页面需要找内容直接写源代码中的页面来练习