使用selenium爬取慕课网搜索内容爬取不到动态加载内容

动态加载的部分无法获取

可以搜索到内容但是无法显示数据包

使用scrapy框架会出现以下提示

打印response.text可以看到想要的内容但获取不到

已经解决了！是因为动态id不能直接用xpath定位，这样子就可以了

还想问下为什么scrapy会输出无法连接的提示但是好像不影响执行

sleep(5s)加载一下。

从你提供的代码看，并没有看到使用selenium，selenium定位元素方法很多，比如find_element_by_xpath等等。也可使用 WebDriverWait(driver,20).until。。。等待加载后获取。