python xpath爬虫时的问题

在使用xpath对猫眼电影网站爬虫练习时,定位标签只能定位到第一个标签,定位第二个标签的时候就输出了一个空列表

import requests
from lxml import html
url = 'https://www.maoyan.com/films?showType=2'
response = requests.get(url)
etree = html.etree
r = etree.HTML(response)
q = r.xpath('/html/body/div[4]/div/div[2]/div[2]/dl/dd')

img

img

img

试试用css 定位吧,ID或者class,
你这个可能就是第二个列表并不在可视范围内,获取不到元素,如果是这样,还得操作一下页面滑动才行

很大可能数据通过js进行动态传输的,去浏览器调试-网络,然后刷新网页,找js相关的链接,去查看里面的数据,很大概率会找到你想要的内容