python爬虫有一些小问题

想问一问各位,为什么我这个爬虫没有爬出div之间的数据,爬取的数据是中国天气网上的各省会气温,这个程序单独输出标题那些又可以正确输出

img

img

img

。。。。你要明白,源文件和查看元素的区别

在浏览器里,使用查看元素方式得到的是已经经过浏览器渲染之后的数据

而查看源文件,则是真正这个页面返回的数据

那么问题来了,你在查看元素时有,但抓取时没有,那么就只有两种情况了

1、数据不是在源文件里,需要通过加载其他文件后通过js渲染
2、数据再源文件里,但是需要通过js渲染

用webdriver一类的方式抓取动态加载的数据

可以看下这个数据是不是动态js渲染出来的,如果是可以用senlium自动化技术来进行抓取