scrapy 爬不出来数据

scrapy数据采集 才有css选择器,爬不出来数据 可以帮忙解答一下吗?谢谢!

img

当您无法使用 CSS 选择器来采集所需数据时,可能是由于以下几种原因导致的,可以尝试下面的解决方案:

  1. 确保您使用的是正确的CSS选择器语法。 首先,请检查您正在使用的CSS选择器指南,以确保使用正确的语法。一些常见的检查点包括检查选择器是否遵循正确的格式以及是否使用了正确的选择器标记。
  2. 在网站的HTML结构中查找数据。 如果您的CSS选择器没有返回您预期的数据,请检查网站的HTML结构,以确保您的选择器与 HTML 标记匹配。 有时,如果网站的网页结构发生了更改,那么您的选择器可能就无法正常工作了。
  3. 在Scrapy中使用XPath选择器。 如果您无法使用 CSS 选择器来检索所需的数据,则可以尝试使用XPath选择器。 XPath 是一种较为灵活的语言,可用于从 HTML 或 XML 文档中提取数据。 在 Scrapy 中,你可以使用 response.xpath()Selector.xpath() 方法来使用 XPath 选择器获取数据。
  4. 使用浏览器调试工具。 使用浏览器调试工具可以帮助您检查网站的 HTML 结构并测试 CSS 选择器的准确性。 例如,您可以使用 Chrome 的 Inspect 工具(F12)来检查页面源代码,查看选择器是否正确,尝试使用不同的选择器。此外,您也可以使用 Chrome 或 Firefox 的扩展程序,如 CSS Selector Tester 或 Selector Gadget来帮助您搜索所需数据的CSS选择器。

希望这些解决方案能够帮助您解决数据采集的问题。

不知道你这个问题是否已经解决, 如果还没有解决的话:

如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^