import scrapy
class LegoSpider(scrapy.Spider):
name = 'lego'
allowed_domains = ['www.lego.com']
start_urls = ['https://www.lego.com/en-gb/product/ferrari-488-gte-af-corse-51-42125']
def parse(self, response):
#获取所有图片集合
images = response.css(".ThumbnailsTrackstyles__TrackContainer-sc-141n2vw-3.hSgYMJ img::attr(src)").getall()
#所有视频url链接
print(response.css(".rh5v-DefaultPlayer_video source::attr(src)").getall())
#商品详情
print(response.css(".Markup__StyledMarkup-ar1l9g-0.hlipzx p::text").getall())
return {"images":images}
运行之后返回的空集合
我尝试用xpath获取结果以及css的方式获取都获取不到,不知道为什么
js加载的,先打印看下获取的整个网页。我试了下,在下图这个位置可以找到视频链接,可以用正则或者别的方法取出来
动态加载的
哥,怎么获取的,为什么我获取的网页只有1千多行[动画表情]