怎么爬取猫眼电影里的所有城市信息,不要selenium的

就是获取下拉列表里的信息。如下:

图片说明

1.通过网页加载后的代码,可以找到城市信息

<a class="js-city-name" data-ci="150" data-val="{ choosecityid:150 }" data-act="cityChange-click">  阿拉善盟</a>

2.通过查找js-city-name等关键词,可发现城市信息是由https://s0.meituan.net/bs/?f=myfe/mywww:/common.98f4f69f.js 这个JS文件加载出来的
3.可以在该文件找到函数localStorage.getItem("cities")为所有城市信息,在浏览器上开发工具的控制台输入localStorage.getItem("cities")可以得到所有的数据
所以,只能用selenium的方法抓取,但是可以不通过解析html提取,可以直接运行JS函数得到数据
driver.execute_script('localStorage.getItem("cities")')

https://baijiahao.baidu.com/s?id=1597794943176389480&wfr=spider&for=pc