Python使用xpath进行爬虫时返回列表为空[]是怎么回事?

在爬银保监会的相关数据时,发现明明网页中的上一个路径还能爬取成功,过了某个节点,返回值就为空了,不知道怎么办l了

import scrapy

class YinbaojianSpider(scrapy.Spider):
    name = 'yinbaojian'
    # allowed_domains = ['yinbaojian.cn']
    start_urls = ['https://www.cbirc.gov.cn/cn/view/pages/ItemList.html?itemPId=923&itemId=4113&itemUrl=ItemListRightList.html&itemName=%E9%93%B6%E4%BF%9D%E7%9B%91%E4%BC%9A%E6%9C%BA%E5%85%B3&itemsubPId=931&itemsubPName=%E8%A1%8C%E6%94%BF%E5%A4%84%E7%BD%9A']

    def parse(self, response):
        div_list1 = response.xpath('/html/body/div[2]')
        print(div_list1)** ######这里可以打印出来**

        div_list = response.xpath('/html/body/div[2]/div[2]')
        print(div_list)**#####这里打印值就为空列表了**

img

貌似是到这个style往下用xpath返回值就为空了

有人知道如何解决吗

  1. 数据是动态加载的
  2. xpath写错了

网站右键点击查看网页源代码,/html/body/div[2]/div[2] 是没有在源代码的,因此,是动态加载的